Por que la IA funciona peor para ciertos usuarios y que hacer al respecto

Qué es este riesgo

La precisión y efectividad de las decisiones y acciones de los sistemas de IA varía según la pertenencia a un grupo. Las decisiones en el diseño del sistema de IA y los datos de entrenamiento sesgados producen resultados desiguales, beneficios reducidos, mayor esfuerzo cognitivo y alienación de usuarios infrarrepresentados.

A diferencia del subdominio 1.1 (que se centra en decisiones discriminatorias), 1.3 se centra en la fiabilidad diferencial: el sistema funciona bien para algunos grupos y mal para otros, incluso sin tomar una decisión explícitamente discriminatoria.

Cómo ocurre · Mecanismos

• Infrarrepresentación en datos de entrenamiento — Los grupos con menos datos producen outputs de menor calidad
• Sesgo de benchmark — Los sistemas de IA se evalúan con benchmarks que no reflejan la diversidad de usuarios reales
• Brechas de idioma y acento — Los sistemas de reconocimiento de voz funcionan peor con hablantes no nativos, acentos regionales e idiomas minoritarios
• Sesgo de tono de piel en visión por computador — Los sistemas de reconocimiento de imágenes entrenados predominantemente con individuos de piel clara rinden peor para usuarios de piel oscura

Incidentes reales

Pulsímetros y monitoreo de IA (2020–2022)

Múltiples estudios encontraron que los pulsímetros sobreestimaban los niveles de oxígeno en pacientes con piel oscura, lo que llevó a decisiones de tratamiento tardadas y contribuyó a peores resultados de COVID-19 en pacientes negros.

Reconocimiento de voz e inglés vernacular afroamericano (Stanford, 2020)

Un estudio de Stanford encontró que cinco principales sistemas de reconocimiento de voz (Apple, Amazon, Google, IBM, Microsoft) tenían tasas de error un 35% superiores para hablantes negros frente a blancos.

IA médica con bajo rendimiento para mujeres

Varias herramientas de IA para diagnóstico cardíaco mostraron una precisión significativamente inferior para mujeres, que estaban históricamente infrarrepresentadas en los conjuntos de datos de investigación cardíaca usados para entrenamiento.

Mitigaciones · Gobernanza

• Metricas de evaluacion desagregadas — Reportar el rendimiento desglosado por grupo demografico, no solo la precision agregada global
• Conjuntos de datos de entrenamiento representativos — Curar activamente los datos de entrenamiento para asegurar la representacion adecuada de todos los grupos
• Recopilacion de datos dirigida — Invertir en recopilar datos de poblaciones infrarrepresentadas para equilibrar el corpus
• Umbrales de rendimiento por grupo — Definir niveles minimos de rendimiento aceptables para todas las poblaciones atendidas por el sistema
• Mecanismos de retroalimentacion de usuarios — Crear canales para que los usuarios infrarrepresentados reporten mal rendimiento observado