Cuando los modos de fallo de IA topan con consecuencias en infraestructura critica

Qué es este riesgo

Sistemas IA desplegados en contextos de infraestructura crítica — redes eléctricas, sistemas de agua, control de tráfico aéreo, infraestructura del mercado financiero, sistemas sanitarios — que producen fallos inesperados que se propagan en daño físico, disrupción sistémica o pérdida de vidas.

Los fallos IA en infraestructuras críticas se distinguen de los fallos IA ordinarios por la irreversibilidad y la gravedad de las consecuencias.

Cómo ocurre · Mecanismos

La gestión estándar del riesgo IA asume que los fallos pueden ser detectados, corregidos y aprendidos. En contextos críticos:

• Las consecuencias del fallo son inmediatas e irreversibles
• Las tasas de fallo aceptables en contextos comerciales son inaceptables — un 95% de precisión en IA médica significa que 1 de cada 20 pacientes recibe un diagnóstico incorrecto
• La supervisión humana está limitada — la velocidad de operación puede superar la capacidad de revisión humana
• La robustez adversarial es esencial — los sistemas críticos son objetivos de alto valor para ataques adversariales

Incidentes reales

IA de KNIME y anomalia en la red electrica (Alemania, 2023)

Mitigaciones · Gobernanza

• Certificacion formal de seguridad — IA critica para la seguridad sujeta a IEC 61508 (seguridad funcional), DO-178C (aviacion) o estandares equivalentes de seguridad especificos del dominio
• Diseno a prueba de fallos — Los modos de fallo de la IA deben pasar por defecto a estados seguros, no a estados desconocidos
• Redundancia — Las decisiones criticas para la seguridad requieren sistemas de IA redundantes mas supervision humana continua
• Pruebas exhaustivas de casos extremos — IA critica para la seguridad probada con entradas adversariales y casos extremos con rigor mucho mayor que IA comercial
• Anulacion humana obligatoria — Los humanos siempre pueden anular las recomendaciones de IA en contextos criticos para la seguridad; esta capacidad se prueba con regularidad
• Despliegue conservador — Comenzar con la IA en rol asesor; pasar a operacion autonoma solo tras un rendimiento validado extenso