Impacto dispar — Discriminacion algoritmica en sistemas de decision de IA

Definición

Definición técnica

¿Qué es el impacto discriminatorio en sistemas de decisión de IA?

El impacto discriminatorio es un concepto legal y analítico que describe la situación en la que un sistema de decisión aparentemente neutro produce resultados sistemáticamente distintos para grupos protegidos, incluso cuando el sistema no usa atributos protegidos como entradas. El concepto se originó en derecho laboral estadounidense (Griggs v. Duke Power, 1971) y ha sido importado a la gobernanza de IA porque los sistemas algorítmicos regularmente producen impacto discriminatorio a través de proxies, incluso cuando los diseñadores no pretendieron discriminar.

El mecanismo técnico es sencillo. Las features que correlacionan con atributos protegidos (código postal con raza, nombre con género, educación con trasfondo socioeconómico) llevan la información protegida al modelo implícitamente. El modelo aprende a usar esos proxies, y la salida reproduce la disparidad presente en los datos de entrenamiento. Eliminar el atributo protegido de las entradas no resuelve el problema porque los proxies permanecen.

El impacto discriminatorio se diferencia del trato discriminatorio. El trato discriminatorio es trato diferencial intencional basado en atributos protegidos. El impacto discriminatorio es resultado diferencial no intencional mediante procesos facialmente neutros. Ambos pueden ser ilícitos bajo regímenes anti-discriminación, pero los marcos analíticos y remediales son distintos. El análisis de impacto discriminatorio requiere evidencia estadística de resultado diferencial y un examen de si la práctica está justificada por necesidad de negocio.

Por qué importa operativamente

¿Por qué importa el impacto discriminatorio para las organizaciones que despliegan IA?

El impacto discriminatorio es la forma más común de exposición legal para sistemas de IA en contextos de toma de decisiones reguladas. Herramientas de contratación, credit scoring, pricing de seguros, asignación de recursos sanitarios y moderación de contenido han producido todas litigios documentados por impacto discriminatorio. El patrón es consistente: una organización despliega un sistema de IA que el equipo de ingeniería validó por precisión, el sistema produce resultados estadísticamente distintos para grupos protegidos, el litigio se centra en el resultado dispar más que en la calidad de ingeniería, y la ausencia de análisis de impacto discriminatorio se convierte en evidencia de negligencia.

Para la gobernanza, la implicación es estructural. El análisis de impacto discriminatorio debe ser precondición para el despliegue de cualquier sistema de IA en contexto regulado de decisión, no un check a posteriori. El análisis requiere (a) grupos protegidos definidos relevantes al caso de uso, (b) métricas de resultado por grupo, (c) tests estadísticos de resultado diferencial, y (d) justificación documentada de necesidad de negocio cuando los diferenciales persisten. El Anexo A.6 de ISO/IEC 42001 espera este análisis. El Artículo 10 (gobierno del dato) y el Artículo 27 (FRIA para sistemas de alto riesgo de impacto público) del EU AI Act lo exigen. La NYC Local Law 144 obliga a auditorías externas de sesgo para herramientas de contratación.

Los equipos de gobernanza que tratan el impacto discriminatorio como aspiración de equidad más que como exposición legal están operando con el modelo de riesgo equivocado. El coste del descubrimiento tardío es litigio, multas regulatorias, retirada obligatoria del modelo y daño reputacional. El coste del análisis previo es tiempo de ingeniería y claridad sobre si el sistema puede desplegarse en su forma actual.

Marco regulatorio / Regulatory Framework

¿Qué estándares y regulaciones abordan el impacto discriminatorio en IA?

| Marco | Cómo aborda el impacto discriminatorio | | — | — | | EU AI Act — Art. 10 + Art. 27 | El Artículo 10 (gobierno del dato) exige examinar sesgo en datos de entrenamiento para sistemas de alto riesgo. El Artículo 27 (FRIA) exige evaluación de impacto en derechos fundamentales para sistemas Anexo III de impacto público, incluyendo análisis de impacto discriminatorio. | | GDPR — Art. 22 + Art. 35 | El Artículo 22 (decisiones automatizadas) y el Artículo 35 (DPIA) requieren evaluar impacto en categorías especiales de datos y derechos, incluyendo dimensiones de impacto discriminatorio. | | ISO/IEC 42001 — A.6.2.6 + A.7 | El Anexo A.6.2.6 (testing) y A.7 (datos) cubren explícitamente sesgo y equidad como áreas de control, requiriendo procedimientos documentados y evidencia de ejecución. | | ISO/IEC 24027 | Proporciona guía específica sobre sesgo en sistemas de IA y toma de decisiones asistida por IA, incluyendo metodologías de evaluación de impacto discriminatorio. | | Regímenes locales | NYC Local Law 144 (auditorías obligatorias de sesgo para herramientas de contratación), Colorado AI Act, guía EEOC US, Title VII (US), Equality Act 2010 (UK). |

Cómo lo evalúa Zertia

¿Cómo evalúa Zertia el impacto discriminatorio en auditorías?

Zertia audita el análisis de impacto discriminatorio como área de control en cualquier Auditoría de Modelo de IA que cubra sistemas que afecten decisiones. La auditoría verifica que (a) los grupos protegidos están definidos para el caso de uso específico, considerando el marco legal y contextual relevante; (b) las métricas de resultado por grupo se miden antes del despliegue y se monitorizan después, con metodologías estadísticas documentadas; (c) la evidencia estadística de resultado diferencial está documentada, incluyendo umbrales aplicados e intervalos de confianza; y (d) las justificaciones de necesidad de negocio están documentadas cuando los diferenciales persisten, con la cadena analítica desde el resultado diferencial hasta la necesidad defendida.

Para la certificación ISO/IEC 42001, la evidencia de impacto discriminatorio sustenta la documentación del sistema de gestión sobre controles de sesgo y equidad bajo el Anexo A.6.2.6 y A.7. Para sistemas que requieren FRIA bajo el Artículo 27 del EU AI Act, Zertia asegura que la evaluación incluye el análisis de impacto discriminatorio explícitamente, con la metodología, resultados y medidas de mitigación trazables al requisito regulatorio.

→ [Auditoría de Modelo de IA] · [Certificación ISO 42001] · [Evaluación FRIA] · zertia.ai/services

Recursos relacionados

¿Dónde aprender más sobre el impacto discriminatorio en IA?

Guía: Análisis de Impacto Discriminatorio para Sistemas de Decisión de IA
Playbook: Metodología de Auditoría de Sesgo Pre-Despliegue
Recurso: EEOC Uniform Guidelines on Employee Selection
Análisis de riesgo de IA: Discriminación injusta y representación incorrecta
Familia de riesgo específica: Scoring crediticio y discriminación financiera
Términos relacionados: Algorithmic Bias · Fairness in AI · FRIA · AI Audit · Profiling

FAQ

Preguntas frecuentes sobre impacto discriminatorio en IA

P: ¿Puedo evitar el impacto discriminatorio eliminando los atributos protegidos de las entradas?

No. Eliminar los atributos protegidos no elimina sus proxies. Los modelos reproducen rutinariamente el impacto discriminatorio a través de features correlacionadas como código postal, nombre, educación o patrones de navegación. La respuesta correcta es medir resultados por grupo y tratar la divergencia como cuestión de control, no asumir neutralidad por diseño de entradas. «Fairness through unawareness» no es una estrategia técnica ni legalmente defendible.

P: ¿Qué nivel de resultado diferencial activa preocupación?

La «regla de las cuatro quintas partes» del EEOC US (tasa de selección para un grupo por debajo del 80% de la tasa del grupo más alto) es un umbral común para contextos de contratación. Otros regímenes usan umbrales distintos. El umbral es un punto de partida para investigación, no un puerto seguro: un resultado dentro del umbral puede aún producir litigio si el análisis es por lo demás inadecuado, y un resultado fuera del umbral puede ser defendible si la necesidad de negocio está documentada.

P: ¿Requiere el EU AI Act un análisis de impacto discriminatorio?

El Artículo 10 obliga a examinar sesgo en datos de entrenamiento para sistemas de alto riesgo. El Artículo 27 (FRIA) lo refuerza para subconjuntos específicos de sistemas de alto riesgo de impacto público. En conjunto, estas disposiciones exigen el análisis de impacto discriminatorio como práctica documentada para los sistemas en alcance, con la metodología y los resultados formando parte de la documentación técnica bajo el Anexo IV.

P: ¿En qué se diferencia el impacto discriminatorio del sesgo algorítmico?

El sesgo algorítmico es el fenómeno técnico: un modelo produce salidas sistemáticamente distintas para grupos distintos. El impacto discriminatorio es la consecuencia legal: las salidas diferenciales producen resultados diferenciales que pueden violar la ley anti-discriminación. Un modelo puede estar sesgado sin producir impacto discriminatorio legalmente reconocible, y un despliegue puede producir impacto discriminatorio por razones más allá del modelo en sí (comportamiento del operador, contexto de aplicación, decisiones aguas abajo).

P: ¿Qué evidencia espera ver una auditoría?

Una auditoría espera ver (1) la definición documentada de grupos protegidos para el caso de uso; (2) la metodología para medir resultados por grupo, incluyendo tests estadísticos aplicados; (3) los resultados del testing pre-despliegue y monitoreo post-despliegue, con umbrales e intervalos de confianza; (4) el análisis documentado de necesidad de negocio cuando los diferenciales persisten; y (5) las medidas de mitigación consideradas, aplicadas o rechazadas, con razonamiento. Los logs y registros de decisión deben preservarse como evidencia.

P: ¿En qué se diferencia la NYC Local Law 144 del EU AI Act en esto?

La NYC Local Law 144 obliga a una auditoría externa de sesgo para herramientas automatizadas de decisión de empleo, con publicación pública de los resultados y notificación a los candidatos. El Artículo 10 del EU AI Act requiere examen interno de sesgo como parte del régimen de gobierno del dato, con resultados en documentación técnica pero no necesariamente públicos. Los dos regímenes pueden superponerse para organizaciones que operan en ambas jurisdicciones, y la auditoría externa de NYC puede satisfacer parte de la base de evidencia europea.

CTA

El impacto discriminatorio es una exposición legal, no una aspiración de equidad. Una Auditoría de Modelo de IA de Zertia trata el análisis como área de control formal, no como casilla.

Contacta · Agenda una llamada · Más información

Términos relacionados

Términos relacionados en gobernanza de IA

Algorithmic Bias — El fenómeno técnico subyacente al impacto discriminatorio en IA
Fairness in AI — Marco más amplio que incluye el impacto discriminatorio como uno de los criterios de equidad
FRIA — La Evaluación de Impacto en Derechos Fundamentales incluye análisis de impacto discriminatorio para sistemas de alto riesgo de impacto público
AI Audit — El mecanismo formal de verificación del análisis de impacto discriminatorio
Profiling — Categoría regulatoria adyacente bajo RGPD para evaluación individual basada en IA
AI Accountability — Marco de responsabilidad para organizaciones que despliegan sistemas con exposición a impacto discriminatorio