Donde la IA rompe los supuestos de privacidad sobre los que se construyo el GDPR

Qué es este riesgo

Sistemas de IA que memorizan y filtran datos personales sensibles, o infieren información privada sobre individuos sin su consentimiento. Incluye la memorización de datos de entrenamiento, ataques de inversión de modelos, ataques de inferencia de pertenencia e inferencia no autorizada de atributos sensibles a partir de inputs aparentemente inocuos.

Cómo ocurre · Mecanismos

• Memorización de datos de entrenamiento — Los grandes modelos de lenguaje pueden memorizar y reproducir textualmente fragmentos de datos de entrenamiento, incluyendo información personal, claves de API o documentos confidenciales
• Ataques de inferencia de pertenencia — Los adversarios pueden determinar si los datos de un individuo específico estaban incluidos en el conjunto de entrenamiento
• Ataques de inversión de modelos — Reconstrucción de datos de entrenamiento a partir de outputs y gradientes del modelo
• Inferencia de atributos — Inferir atributos sensibles (estado de salud, opiniones políticas) a partir de inputs aparentemente no relacionados
• Filtración de sistemas RAG — Los sistemas con recuperación aumentada pueden exponer inadvertidamente documentos confidenciales

Incidentes reales

Filtración de código fuente de Samsung mediante ChatGPT (2023)

Empleados de Samsung subieron inadvertidamente código fuente propietario y notas internas de reuniones a ChatGPT. Samsung prohibió posteriormente el uso de herramientas de IA externas.

Lección: Las organizaciones son responsables de cómo sus empleados usan herramientas de IA externas con datos corporativos.

Extracción de datos de entrenamiento de GPT-2 (Carlini et al., 2021)

Investigadores demostraron que GPT-2 podía incitarse a reproducir casi textualmente datos de entrenamiento, incluyendo nombres personales, números de teléfono y direcciones.

Mitigaciones · Gobernanza

Controles técnicos

• Privacidad diferencial — Añadir ruido matemático durante el entrenamiento para limitar lo que los modelos pueden memorizar
• Minimización de datos — No incluir datos personales en datos de entrenamiento salvo que sea estrictamente necesario
• Anonimización y seudonimización — Aplicar procesamiento de datos conforme al RGPD antes del entrenamiento
• Filtrado de outputs — Monitorizar y filtrar los outputs del modelo por PII e información confidencial

Controles organizativos

• Políticas de gobernanza de datos — Definir qué datos se pueden usar para entrenamiento de IA y bajo qué condiciones
• Formación de empleados — Prevenir la filtración accidental de datos mediante herramientas de IA
• Evaluación de proveedores — Evaluar cómo los proveedores de IA gestionan los datos de entrenamiento
• Evaluaciones de impacto en privacidad — Realizar EIPDs antes de desplegar sistemas de IA que procesen datos personales