Cuando el consejo medico de IA falla justo a los pacientes que mas confian en el

Qué es este riesgo

Sistemas IA que proporcionan información sanitaria incorrecta, desactualizada o peligrosa a pacientes, cuidadores o clínicos — incluyendo dosificación incorrecta, contraindicaciones erróneas, resultados de ensayos clínicos fabricados y consejos médicos inapropiados — llevando a daño al paciente.

La sanidad es el dominio de mayor consecuencia para la desinformación IA porque los errores pueden causar daño físico directo.

Cómo ocurre · Mecanismos

Caso de uso	Riesgo de desinformación	Daño potencial
Chatbots para pacientes	Alto (sin supervisión clínica)	Autotratamiento incorrecto, atención retrasada
Soporte a la decisión clínica	Medio-Alto (supervisión del clínico)	Diagnóstico erróneo si se acepta sin revisión
Consultas sobre fármacos	Alto (se requiere precisión)	Errores de dosificación, interacciones peligrosas
Chatbots de salud mental	Alto (población vulnerable)	Consejos dañinos a usuarios en riesgo

Incidentes reales

Chatbot de la National Eating Disorders Association (2023)

NEDA sustituyó al personal de la línea de ayuda humana por un chatbot IA (Tessa). En días, el chatbot proporcionaba consejos dietarios a personas que buscaban ayuda para trastornos alimentarios — lo contrario de la atención segura basada en evidencia. NEDA cerró el chatbot.

Chatbots IA y riesgo de suicidio

Múltiples estudios documentaron chatbots IA que proporcionaban respuestas inapropiadas a consultas relacionadas con el suicidio, incluyendo información sobre métodos, falta de recursos de crisis, y en algunos casos reforzando la ideación suicida.

Errores de información sanitaria del NHS

Información sanitaria generada por IA en plataformas adyacentes al NHS se encontró que contenía orientación desactualizada, información farmacéutica incorrecta y contradicciones con la orientación oficial del NHS.

Mitigaciones · Gobernanza

• Revision clinica del contenido — Toda la informacion sanitaria generada por IA debe ser revisada por clinicos cualificados antes de su despliegue
• Base de conocimiento basada en evidencia — Fundamentar la IA sanitaria en bases de conocimiento clinico validadas y actualizadas periodicamente (no internet abierto)
• Limitacion de alcance — La IA sanitaria debe definir y hacer cumplir claramente los limites sobre lo que aconseja y lo que no
• Integracion de rutas de crisis — Integrar directrices de mensajeria segura y recursos de crisis en los sistemas sanitarios de IA
• Escalado obligatorio — Consultas especificas (cambios de medicacion, sintomas que sugieren emergencia) se escalan automaticamente a clinicos humanos
• Control de versiones del conocimiento medico — Rastrear cuando cambian las guias clinicas y actualizar los sistemas de IA en consecuencia