Donde termina la validacion y empieza el aseguramiento continuo de la IA

Qué es este riesgo

Sistemas de IA que producen outputs y comportamientos inesperados, impredecibles o peligrosos, incluyendo fallos en cascada en sistemas multiagente y complejos. Distinto de 7.1 (desalineación de objetivos) y 7.2 (capacidades peligrosas): este subdominio captura la impredecibilidad conductual como riesgo en sí mismo, incluso cuando los objetivos están correctamente especificados.

Cómo ocurre · Mecanismos

• Comportamientos emergentes no lineales – Los sistemas complejos exhiben comportamientos que no son predecibles a partir del comportamiento de sus componentes individuales
• Cambio de distribucion – Las condiciones de despliegue difieren de las condiciones de entrenamiento de formas que producen comportamientos inesperados en produccion
• Fallos en cascada en sistemas multiagente – Multiples agentes de IA interactuando producen comportamientos emergentes a nivel de sistema para los que ningun agente individual fue disenado
• Sensibilidad al prompt – Pequenos cambios en las entradas producen cambios desproporcionadamente grandes en las salidas del modelo
• Efectos de la ventana de contexto – Los comportamientos cambian de manera impredecible con la longitud de la conversacion, el contexto o el orden de la informacion

Incidentes reales

Flash Crash de 2010

Los sistemas de trading algorítmico interactuando entre sí causaron una cascada que borró temporalmente 1 billón de dólares de los mercados bursátiles estadounidenses en minutos. Los sistemas individualmente operaban según lo diseñado; el comportamiento a nivel de sistema fue emergente y catastrófico.

Inconsistencia conductual de LLM

Múltiples estudios documentan que los LLMs dan respuestas diferentes a preguntas idénticas cuando se hacen repetidamente, con distinta formulación, o en diferentes idiomas, planteando preocupaciones de fiabilidad para aplicaciones de alto riesgo.

Mitigaciones · Gobernanza

• Suites de pruebas conductuales – Pruebas exhaustivas con entradas diversas antes del despliegue del sistema en produccion
• Despliegues canary – Lanzamiento gradual con monitorizacion antes del despliegue completo en toda la base de usuarios
• Mecanismos de fallback – Definir el comportamiento del sistema cuando la IA produce salidas inesperadas o fuera de rango
• Pruebas de sistemas multiagente – Probar los comportamientos de interaccion entre agentes, no solo el comportamiento individual de cada agente
• Validacion de salidas – Implementar capas de validacion de salidas para detectar salidas anomalas de la IA antes de que surtan efecto
• Cortacircuitos – Apagados automaticos cuando el comportamiento se desvia de los limites esperados y las tolerancias definidas