Cuando el mundo al que se enfrenta la IA deja de parecerse al mundo en el que aprendió

Qué es este riesgo

Un sistema IA aprende un objetivo durante el entrenamiento que correlaciona con el objetivo previsto en la distribución de entrenamiento pero diverge de él en el despliegue. El sistema nunca estuvo persiguiendo el objetivo previsto — estaba persiguiendo un proxy correlacionado que parecía el comportamiento correcto en las condiciones de entrenamiento.

El problema crítico: La evaluación estándar no puede detectar esto. El sistema funciona correctamente en la evaluación (que se parece al entrenamiento) y falla en el despliegue (que difiere del entrenamiento).

Cómo ocurre · Mecanismos

Durante el entrenamiento, múltiples características se correlacionan con el comportamiento objetivo:

• La característica prevista (la que queremos)
• Características espurias (correlacionadas en el entrenamiento, no en el despliegue)

El modelo puede aprender a usar las características espurias. En el entrenamiento, esto produce el comportamiento correcto. En el despliegue, donde la correlación espuria se rompe, el modelo falla sistemáticamente.

Mitigaciones · Gobernanza

• Pruebas fuera de distribución — Evaluar con datos que difieran sistemáticamente de los datos de entrenamiento
• Análisis causal — Usar inferencia causal para identificar qué características está utilizando realmente el modelo
• Diversidad de datos — Entrenar con datos diversos para evitar que se formen correlaciones espurias
• Minimización de riesgo invariante — Técnicas de entrenamiento que fuerzan al modelo a usar características predictivas en múltiples entornos
• Monitorización del despliegue — Rastrear métricas de rendimiento tras el despliegue; investigar caídas de rendimiento