Cuando la IA se lanza con capacidades que realmente no puede entregar

Qué es este riesgo

La brecha sistemática entre el rendimiento de IA medido en condiciones de evaluación controladas y el rendimiento en el despliegue en el mundo real. Los sistemas IA que funcionan al nivel humano o por encima en benchmarks pueden funcionar significativamente peor en producción, a menudo sin que esta brecha sea visible hasta después de que las consecuencias del despliegue se hayan materializado.

Cómo ocurre · Mecanismos

Contaminación del benchmark: Los datos de entrenamiento pueden contener conjuntos de tests de benchmark, inflando el rendimiento medido.

Cambio de distribución: Los inputs del mundo real difieren de los inputs del benchmark de formas difíciles de anticipar.

Gaming de benchmark: La presión de optimización para funcionar bien en benchmarks lleva a modelos sobreajustados a patrones específicos del benchmark.

Condiciones de evaluación vs. condiciones de despliegue: Los benchmarks evalúan modelos de forma aislada; la producción implica integración con otros sistemas, usuarios reales y calidad de input variable.

Incidentes reales

IBM Watson para Oncología (2017–2019)

Comercializado como un logro de rendimiento de oncólogo experto. Documentos internos del MSKCC mostraron que proporcionaba recomendaciones de tratamiento «inseguras e incorrectas». Múltiples hospitales que licenciaron el sistema dejaron de usarlo.

Herramientas diagnósticas IA para COVID-19 (Wynants et al., 2020 — BMJ)

Revisión sistemática de 232 herramientas IA desarrolladas para el diagnóstico de COVID-19. Conclusión: casi todas tenían defectos metodológicos que inflaban el rendimiento reportado. Ninguna fue recomendada para uso clínico basada en la evidencia disponible.

Mitigaciones · Gobernanza

• Validacion prospectiva — Evaluar sobre datos recogidos despues del desarrollo del modelo, no datos del mismo periodo
• Piloto en mundo real antes del despliegue completo — Desplegar a escala limitada con monitorizacion intensiva antes del despliegue completo
• Evaluacion independiente — Evaluacion por terceros sobre datos reservados no compartidos con el desarrollador del modelo
• Monitorizacion en produccion — Rastrear las metricas de rendimiento reales despues del despliegue, no solo en el lanzamiento inicial
• Comunicacion honesta de capacidades — Exigir divulgacion de la metodologia de evaluacion junto con las afirmaciones de rendimiento
• Clausulas de caducidad — Exigir reevaluacion a intervalos regulares; el rendimiento que era valido en el despliegue puede degradarse con el tiempo