Cuando la automatizacion cruza de asistir a desplazar la agencia humana

Qué es este riesgo

Humanos que delegan decisiones clave a sistemas de IA, o sistemas de IA que toman decisiones que disminuyen el control y la autonomía humanos, lo que puede llevar a que los humanos se sientan sin poder, pierdan la capacidad de dar forma a una trayectoria de vida satisfactoria o se vuelvan cognitivamente debilitados con el tiempo.

Cómo ocurre · Mecanismos

• Sistemas de IA agéntica — Conforme los agentes de IA toman más acciones autónomas en nombre de los usuarios, el ámbito de la toma de decisiones humanas se reduce
• Bloqueo por personalización — La curación de información, oportunidades y opciones por IA estrecha el espacio de decisión disponible para los individuos
• Delegación institucional — Las organizaciones delegan decisiones de RRHH, crédito, judiciales y médicas a la IA
• Descarga cognitiva — El uso rutinario de IA para tareas que desarrollan habilidades cognitivas lleva a la atrofia gradual de esas habilidades

Incidentes reales

Escándalo de Horizon de Correos del Reino Unido

Más de 700 directores de oficinas postales fueron condenados erróneamente porque el juicio humano fue desplazado por las salidas del sistema informático Horizon. Los tribunales aceptaron los outputs del sistema sin cuestionarlos críticamente. Este caso es citado como el ejemplo canónico de delegación institucional excesiva a sistemas automatizados.

Gestión algorítmica en la economía gig

Rideres y conductores gestionados por sistemas algorítmicos (Uber, Deliveroo, Amazon Logistics) reportan una profunda pérdida de agencia: no pueden entender, apelar ni anular las decisiones sobre sus asignaciones de trabajo, pago y desactivación.

Mitigaciones · Gobernanza

• Requisitos de humano en el bucle – Exigir autoridad humana de decision para las decisiones consecuentes (empleo, credito, justicia, salud) y no delegarlas por completo a la IA
• Requisitos de explicabilidad – Las personas afectadas por decisiones automatizadas de IA tienen el derecho a entender la base y logica de esas decisiones
• Mecanismos de anulacion – Los sistemas de IA deben ofrecer mecanismos significativos y accesibles para que los humanos puedan anular o impugnar las decisiones de la IA
• Diseno que preserva la agencia – Disenar sistemas de IA que aumenten y complementen el juicio humano, en lugar de sustituirlo
• Derecho a revision humana – Las personas sujetas a decisiones consecuentes de IA tienen el derecho a solicitar una revision humana efectiva del resultado