Cuando la IA desarrolla capacidades que nadie la entrenó para tener

Qué es este riesgo

Sistemas IA que desarrollan capacidades no presentes en versiones más pequeñas de la misma arquitectura y no entrenadas explícitamente — capacidades que emergen de forma impredecible a medida que aumenta la escala del modelo. Algunas de estas capacidades emergentes pueden ser peligrosas o pueden habilitar usos peligrosos.

El problema central de gobernanza: Las capacidades emergentes son, por definición, no anticipadas durante el diseño y la revisión de seguridad de un sistema. Un modelo puede pasar todas las evaluaciones de seguridad para capacidades conocidas y aun así desplegarse con capacidades peligrosas desconocidas.

Cómo ocurre · Mecanismos

Las capacidades se consideran emergentes cuando:

• Están ausentes (rendimiento casi nulo) por debajo de un cierto umbral de escala
• Aparecen abruptamente (rendimiento casi humano o superior) por encima de ese umbral
• No fueron entrenadas explícitamente y no fueron predichas

Este comportamiento de transición de fase hace difícil la predicción de capacidades: los modelos por debajo del umbral no dan advertencia de las capacidades que aparecen por encima de él.

Mitigaciones · Gobernanza

• Evaluaciones de capacidades previas al despliegue (evals) — Probar sistemáticamente la existencia de capacidades peligrosas antes de desplegar cada nueva versión del modelo
• Umbrales de capacidad — Definir niveles específicos de capacidad que activen una revisión reforzada (Art. 51 del Reglamento IA UE, umbrales de cómputo de la EO de EE. UU.)
• Líneas rojas — Capacidades que deben estar ausentes antes del despliegue; despliegue bloqueado si están presentes
• Despliegue por fases — Ampliar el acceso gradualmente, vigilando sorpresas de capacidad en cada fase
• Evaluación externa — Evaluación de capacidades por terceros para modelos de frontera