Cuando las alucinaciones de IA acaban citadas en escritos judiciales

Qué es este riesgo

Modelos de lenguaje IA que generan información falsa plausible, confiada y bien estructurada — incluyendo citas legales fabricadas, estudios médicos inexistentes, guías regulatorias incorrectas y datos financieros falsos — en contextos donde profesionales o sus clientes confían en el output para decisiones consecuentes.

La característica diferenciadora: A diferencia de los errores simples, las alucinaciones son indistinguibles de los outputs correctos por sus características superficiales. Son coherentes, específicas y seguras. Esto es lo que las hace peligrosas en contextos profesionales.

Cómo ocurre · Mecanismos

Los LLMs generan texto prediciendo el siguiente token más probable dado el contexto. No están recuperando hechos de una base de datos — están construyendo texto estadísticamente consistente con su entrenamiento.

Cuando el modelo encuentra una consulta sobre algo fuera de sus datos de entrenamiento, la completación estadísticamente más probable puede ser ficción plausible en lugar de un honesto «no lo sé».

Mitigaciones · Gobernanza

• Generación Aumentada por Recuperación (RAG) — Basar los outputs en fuentes de conocimiento verificadas y actualizadas
• Requisitos de cita — Exigir que los sistemas IA citen fuentes para afirmaciones factuales; verificar que existen
• Indicadores de confianza — Diseñar sistemas que expresen incertidumbre
• Revisión humana obligatoria — Los outputs IA profesionales deben ser verificados por humanos cualificados antes de actuar
• Políticas de uso — Política clara sobre usos permisibles de IA en trabajo profesional
• Formación — Formar a todo el personal profesional en el riesgo de alucinaciones y procedimientos de verificación