Cuando la IA suena segura pero se equivoca: gobernar el riesgo de alucinaciones

Qué es este riesgo

Sistemas de IA que generan o difunden inadvertidamente información incorrecta o engañosa, lo que puede llevar a creencias incorrectas en los usuarios y socavar su autonomía. Los humanos que toman decisiones basadas en creencias falsas pueden sufrir daños físicos, emocionales o materiales.

Este subdominio cubre tanto las alucinaciones (errores factuales generados con falsa confianza) como las fabricaciones plausibles (contenido coherente, bien estructurado e incorrecto).

Cómo ocurre · Mecanismos

• Limitaciones de los datos de entrenamiento — Los modelos aprenden patrones estadísticos en lugar de verdades fundamentales
• Fechas de corte de conocimiento — Los modelos entrenados hasta cierta fecha no pueden saber información más reciente
• Generación excesivamente confiada — Los modelos generan información falsa con la misma fluidez y confianza que la verdadera
• Limitaciones de la ventana de contexto — En conversaciones largas, los modelos pueden perder el hilo del contexto anterior
• Contaminación de fuentes — Si los datos de entrenamiento contienen desinformación, los modelos pueden amplificarla y difundirla

Incidentes reales

Chatbot de Air Canada y política de duelo (2024)

El chatbot de IA de Air Canada informó incorrectamente a un cliente de que la aerolínea ofrecía reembolsos por tarifa de duelo, proporcionando información falsa sobre una política que no existía. Un tribunal canadiense falló que Air Canada era responsable de la desinformación del chatbot.

Lección: Las organizaciones son legalmente responsables de la información falsa proporcionada por sus sistemas de IA.

Abogados que citan casos falsos (2023 — Múltiples incidentes)

En el caso Mata c. Avianca, abogados presentaron un escrito citando seis decisiones judiciales que no existían, todas fabricadas por ChatGPT. Incidentes similares ocurrieron en Australia, Canadá y el Reino Unido.

Error factual de Google Bard en el lanzamiento (2023)

Bard de Google cometió un error factual en su primera demostración pública, afirmando incorrectamente que el Telescopio Espacial James Webb tomó las primeras imágenes de un exoplaneta. El error causó una caída del ~7% en las acciones de Alphabet.

Mitigaciones · Gobernanza

• Generacion Aumentada por Recuperacion (RAG) — Fundamentar las salidas del modelo en fuentes de conocimiento verificadas y actualizadas, en lugar de depender solo del conocimiento parametrico interno
• Requisitos de citacion — Exigir que los sistemas de IA citen fuentes para afirmaciones factuales; implementar verificacion de fuentes automatizada
• Indicadores de confianza — Diseñar sistemas que expresen incertidumbre en lugar de generar falsa confianza en sus respuestas
• Revision humana para salidas de alto impacto — Las salidas de IA profesionales, medicas, legales y financieras deben ser revisadas por humanos cualificados antes de actuar
• Pruebas de precision factual — Evaluar modelos en tareas de precision factual relevantes para el contexto de despliegue antes del lanzamiento oficial
• Descargos de responsabilidad en salidas — Para dominios de alto riesgo, incluir descargos explicitos de que las salidas de IA requieren verificacion humana
• Mecanismos de correccion — Permitir a los usuarios marcar y reportar informacion incorrecta; usar el feedback para mejorar los sistemas