Donde empieza la discriminacion de la IA y como certificarse frente a ella

Qué es este riesgo

Trato desigual de individuos o grupos por parte de sistemas de IA, a menudo basado en raza, género, edad, discapacidad, origen nacional u otras características protegidas, que resulta en resultados injustos y representación dañina de esos grupos.

Este subdominio captura tanto la discriminación directa (la IA usa explícitamente atributos protegidos) como la discriminación indirecta (la IA usa variables aparentemente neutras que actúan como proxies de características protegidas).

Cómo ocurre · Mecanismos

Perfil causal: Causado por IA · Predominantemente no intencional · Origen pre-despliegue, manifestación post-despliegue

1. Datos de entrenamiento sesgados — Datos históricos que reflejan discriminación pasada entrenan modelos que replican y amplifican esos patrones
2. Variables proxy — Los modelos aprenden a usar códigos postales, nombres o comportamiento de navegación como proxies de raza o nivel socioeconómico
3. Especificación incorrecta del objetivo — Optimizar una métrica que correlaciona con características protegidas
4. Bucles de retroalimentación — Las decisiones sesgadas generan resultados sesgados que se convierten en nuevos datos de entrenamiento

Incidentes reales

Herramienta de selección de personal de Amazon (2018)

Amazon descartó una herramienta interna de reclutamiento con IA al descubrir que penalizaba sistemáticamente los curríulums de mujeres. El modelo, entrenado con una década de datos de contratación dominados por hombres, aprendió que ser hombre era un predictor de éxito.

Lección: Los patrones discriminatorios en datos históricos de contratación se trasladan directamente a modelos de IA sin intención explícita.

Algoritmo COMPAS de reincidencia (2016)

La investigación de ProPublica encontró que COMPAS, un algoritmo usado por tribunales de EE.UU. para predecir la reincidencia, era casi el doble de probable en clasificar erróneamente a acusados negros como futuros delincuentes.

Reconocimiento facial — Estudio NIST (2019)

La evaluación de NIST de 189 algoritmos de reconocimiento facial encontró tasas de error 10–100 veces superiores para mujeres de piel oscura frente a hombres de piel clara.

Algoritmo de asignación sanitaria (Obermeyer et al., 2019)

Un algoritmo comercial usado por hospitales de EE.UU. asignó sistemáticamente puntuaciones de riesgo de salud más bajas a pacientes negros, reduciendo su acceso a programas de atención. El algoritmo usaba el coste sanitario como proxy de la necesidad de atención, una variable que ya embedía desigualdades raciales.

Mitigaciones · Gobernanza

Controles técnicos

• Auditorías de sesgo pre-despliegue — Testar outputs del modelo por grupos demográficos antes del lanzamiento
• Evaluación de diversidad de datos — Auditar datos de entrenamiento por brechas de representación
• Detección de variables proxy — Identificar y evaluar variables que correlacionan con atributos protegidos
• Monitoreo continuo de rendimiento — Rastrear métricas de impacto dispar en producción
• Herramientas de explicabilidad — Desplegar SHAP, LIME o equivalentes

Controles organizativos

• Equipos de desarrollo diversos — Equipos que reflejen las poblaciones afectadas identifican antes los patrones discriminatorios
• Evaluaciones de impacto — Realizar evaluaciones de impacto de IA antes del despliegue en contextos de alto riesgo
• Supervisión humana en decisiones de alto riesgo — Requerir revisión humana de decisiones de IA en empleo, crédito, sanidad, justicia

Controles de gobernanza

• Model cards — Documentar limitaciones del modelo, impactos dispares conocidos y casos de uso previstos
• Auditorías de terceros — Comisionar auditorías de equidad independientes para aplicaciones de alto riesgo
• Mecanismos de recurso — Proporcionar a los afectados el derecho a impugnar y obtener revisión humana