Cuando la misma IA da respuestas distintas a la misma pregunta

Qué es este riesgo

Sistemas IA que producen outputs diferentes para inputs semánticamente idénticos o casi idénticos — incluyendo contradecirse a sí mismos dentro de una sola sesión, dar respuestas diferentes según la formulación de la pregunta, o comportarse de forma diferente en casos extremos no cubiertos por los tests. En aplicaciones de alto riesgo, la inconsistencia conductual es en sí misma un riesgo de seguridad, independientemente de si cualquier respuesta individual es correcta.

Cómo ocurre · Mecanismos

Misma pregunta, respuestas diferentes

Los LLMs son sistemas estocásticos. La misma pregunta formulada en diferentes momentos, con diferente historial de conversación, o con pequeñas variaciones de formulación puede producir respuestas sustancialmente diferentes.

Autocontradicción dentro de sesiones

Los modelos pueden hacer afirmaciones al inicio de una conversación que contradicen después, especialmente en conversaciones largas.

Sensibilidad al idioma y formato

Estudios documentan que los LLMs dan respuestas diferentes a la misma pregunta formulada en diferentes idiomas, dialectos o formatos.

Sensibilidad al prompt

Pequeños cambios en cómo se formula una pregunta pueden producir grandes cambios en la respuesta.

Mitigaciones · Gobernanza

• Inferencia determinista — Fijar la temperatura a 0 para aplicaciones que requieran coherencia; sacrificar diversidad por fiabilidad
• Pruebas de consistencia — Probar sistemáticamente las salidas ante variaciones de prompts, idiomas y formulaciones
• Validación de salidas — Capa de validación secundaria que compruebe la coherencia interna de las salidas
• Prompting estructurado — Usar plantillas de prompts estructuradas que reduzcan la variación superficial
• Bloqueo de versión — Fijar versiones específicas del modelo en producción; evitar actualizaciones automáticas
• Revisión humana en inconsistencias críticas — Cuando la IA contradice una respuesta previa o expresa incertidumbre, escalar a revisión humana