Cuando la IA en la contratación se convierte en una responsabilidad regulatoria

Qué es este riesgo

Sistemas de IA usados en reclutamiento, evaluación de rendimiento, promociones o gestión de personal que producen resultados discriminatorios contra grupos protegidos — perjudicando sistemáticamente a candidatos o empleados por motivos de raza, género, edad, origen nacional, discapacidad u otras características protegidas.

El EU AI Act clasifica la IA en empleo y gestión de personal como de alto riesgo (Anexo III, Punto 4).

Cómo ocurre · Mecanismos

Sesgo en el cribado de CVs

Los modelos entrenados con datos históricos de contratación aprenden que ciertas características se correlacionan con el hecho de ser contratado. Si históricamente la empresa contrató principalmente a hombres blancos de ciertas universidades, el modelo aprende a favorecer esas características, independientemente de si predicen el rendimiento real.

Discriminación por variables proxy

Los modelos aprenden a usar variables que correlacionan con características protegidas:

• Código postal → raza (segregación residencial)
• Nombre → raza/género/origen nacional
• Universidad → nivel socioeconómico, raza
• Laguna en historial laboral → discapacidad, cuidado de dependientes (género)

Discriminación interseccional

Un modelo puede no discriminar contra mujeres en general ni contra personas negras en general, pero discriminar sistemáticamente a mujeres negras — un patrón que los tests estándar de equidad en un solo eje no detectan.

Amplificación por bucles de retroalimentación

Las decisiones de contratación sesgadas producen composiciones laborales sesgadas. Esa composición se convierte en nuevos datos de entrenamiento. El modelo se vuelve más sesgado con el tiempo.

Incidentes reales

Herramienta de reclutamiento de Amazon (2018)

La herramienta interna de reclutamiento de IA de Amazon, entrenada con 10 años de CVs, penalizaba los CVs que contenían la palabra «women’s» y degradaba a graduadas de universidades exclusivamente femeninas. Amazon cerró el proyecto.

HireVue y entrevistas en vídeo (2019–2022)

El análisis de entrevistas en vídeo por IA recibió escrutinio por emplear análisis facial en evaluaciones de contratación. La EU AI Act aborda directamente esta categoría de riesgo.

iTutorGroup y discriminación por edad (2023)

La EEOC alcanzó un acuerdo de $365.000 con iTutorGroup después de que su software de cribado de candidatos rechazara automáticamente a candidatas mayores de 55 años y candidatos masculinos mayores de 60.

Mitigaciones · Gobernanza

• Auditoria de sesgo previa al despliegue — Probar los resultados del modelo entre grupos protegidos antes de su puesta en produccion
• Analisis de variables proxy — Identificar variables que se correlacionen con caracteristicas protegidas del candidato
• Datos de entrenamiento diversos — Asegurar que los datos de entrenamiento reflejan realmente la poblacion objetivo
• Supervision humana en decisiones finales — La IA debe informar, no tomar por si sola las decisiones finales de empleo
• Analisis de impacto adverso — Monitorizacion continua del impacto dispar en produccion
• Recurso del candidato — Mecanismo para que los candidatos puedan impugnar decisiones influidas por la IA
• Auditoria periodica — Auditoria anual de sesgo por parte de terceros independientes