Cuando la IA se lanza con capacidades que en realidad no puede entregar

Qué es este riesgo

Sistemas de IA que tienen un rendimiento inferior o no entregan los objetivos previstos debido a limitaciones técnicas, incluyendo fragilidad, cambio de distribución, datos de entrenamiento insuficientes y brechas de fiabilidad. A diferencia de 7.1 (objetivos incorrectos) y 7.3 (comportamiento impredecible), este subdominio cubre el simple bajo rendimiento — IA que no funciona tan bien como se esperaba o se afirmaba.

Cómo ocurre · Mecanismos

• Fragilidad – Sistemas de IA que rinden bien en benchmarks fallan con entradas del mundo real que difieren ligeramente de los datos de entrenamiento originales
• Gaming de benchmarks – Los sistemas optimizados para el rendimiento en benchmarks pueden no generalizar al rendimiento en el mundo real y en produccion
• Capacidades sobrestimadas – Decisiones de marketing y despliegue basadas en capacidades de IA exageradas o comunicadas de forma imprecisa al mercado
• Validacion insuficiente en el mundo real – Brechas entre el rendimiento de laboratorio y el de produccion que no se detectan en pruebas previas al despliegue
• Deriva de datos – Los datos de entrenamiento pierden representatividad de las condiciones actuales con el paso del tiempo y los cambios del entorno

Incidentes reales

IBM Watson para Oncología (2017–2019)

IBM Watson para Oncología fue comercializado como una herramienta revolucionaria de diagnóstico del cáncer. Documentos internos del MSKCC revelaron que proporcionaba recomendaciones de tratamiento inseguras e incorrectas. Ejemplo extremo de la brecha entre capacidades comercializadas y reales.

Brechas de rendimiento en vehículos autónomos

Múltiples empresas de vehículos autónomos han enfrentado brechas significativas entre las capacidades declaradas y demostradas. Waymo, Cruise y Tesla han experimentado incidentes donde los sistemas funcionaron bien en condiciones controladas y fallaron en situaciones inesperadas del mundo real.

Herramientas de IA para COVID-19

Una revisión sistemática de herramientas de diagnóstico de IA para COVID-19 encontró que casi todas tenían defectos metodológicos que significaban que el rendimiento en entornos clínicos reales era significativamente inferior al reportado en papers.

Mitigaciones · Gobernanza

• Validacion previa al despliegue en condiciones representativas – Probar en condiciones que coincidan con el despliegue real, no solo condiciones de benchmark de laboratorio
• Monitorizacion del rendimiento en produccion – Monitorizar continuamente el rendimiento real, no solo el rendimiento en el momento del lanzamiento inicial
• Comunicacion honesta de capacidades – Comunicar las capacidades y limitaciones de la IA con honestidad a desplegadores y usuarios finales
• Fichas de modelo – Documentar las caracteristicas de rendimiento, modos de fallo conocidos y casos de uso previstos con claridad
• Fallback humano – Mantener alternativas humanas para cuando los sistemas de IA fallen o produzcan resultados poco fiables
• Control de versiones y reversion – Capacidad para revertir a versiones anteriores del modelo si las nuevas versiones tienen peor rendimiento