Cuando la IA clinica hereda las desigualdades de los datos con los que aprende

Qué es este riesgo

Sistemas de IA usados en entornos clínicos que producen peores resultados de forma sistemática para pacientes de ciertos grupos demográficos — a través de datos de entrenamiento sesgados, funciones objetivo defectuosas o variables proxy que codifican inequidades sanitarias históricas. A diferencia de otros dominios de discriminación, el sesgo IA en sanidad puede causar daño físico directo.

Cómo ocurre · Mecanismos

Los datos sanitarios reflejan décadas de inequidades estructurales:

• Los grupos minoritarios históricamente han recibido menos atención preventiva, creando lagunas de datos
• Los ensayos clínicos históricamente infrarepresentaron a mujeres, minorías y pacientes mayores
• Los costes sanitarios — una etiqueta de entrenamiento común en IA — no son un proxy neutro de la necesidad sanitaria; reflejan el acceso a la atención, no solo el estado de salud
• Los instrumentos de medición fisiológica (pulsioxímetros, imagen dermatológica) fueron diseñados y validados en pacientes de piel más clara

Incidentes reales

Algoritmo de coste sanitario (Obermeyer et al., Science 2019)

Mitigaciones · Gobernanza

• Reporte desagregado del rendimiento — Reporte obligatorio del rendimiento de la IA estratificado por raza, sexo, edad y nivel socioeconomico del paciente
• Ensayos clinicos diversos — Validar los sistemas de IA en poblaciones de pacientes que reflejen realmente las poblaciones donde se desplegaran
• Auditoria de variables proxy — Evaluar las caracteristicas de la IA para detectar proxies codificadas de raza o estatus socioeconomico
• Evaluacion de impacto en equidad sanitaria — Evaluar los posibles impactos en la equidad antes de desplegar IA clinica
• Monitorizacion continua de equidad — Monitorizacion posterior al despliegue para detectar resultados diferenciales por grupo demografico