Cuando el propio modelo se convierte en canal lateral hacia los datos de entrenamiento

Qué es este riesgo

Ataques activos a modelos IA que explotan la relación entre el comportamiento de un modelo y sus datos de entrenamiento para extraer información privada sobre individuos — incluso sin acceso directo a los datos de entrenamiento.

Estos ataques son especialmente preocupantes porque pueden violar la privacidad sin que el modelo produzca nunca explícitamente los datos objetivo.

Cómo ocurre · Mecanismos

Ataque de inferencia de pertenencia

Qué determina: Si los datos de un individuo específico estaban en el conjunto de entrenamiento.

Por qué es sensible: Saber que los datos de alguien estaban en un conjunto de entrenamiento puede revelar información sensible. Si un modelo fue entrenado con registros de pacientes de VIH, saber que los datos de una persona específica estaban en el conjunto de entrenamiento confirma que tiene VIH.

Cómo funciona: Los modelos se comportan ligeramente diferente (con menor pérdida, mayor confianza) con ejemplos que han visto durante el entrenamiento frente a ejemplos que no han visto.

Ataque de inversión de modelos

Qué recupera: Reconstrucción estadística de los datos de entrenamiento a partir de los parámetros o outputs del modelo.

Ejemplo clásico: Fredrikson et al. (2015) reconstruyeron caras de pacientes a partir de un modelo de reconocimiento facial e infirieron dosis de medicamentos a partir de un modelo farmacogenético usando inversión de modelos.

Ataque de inferencia de atributos

Qué infiere: Atributos sensibles sobre un individuo a partir de datos aparentemente no relacionados.

Ejemplo: Un modelo entrenado para predecir ingresos a partir de datos de redes sociales puede inferir condiciones de salud, opiniones políticas u orientación sexual sin que esos atributos estuvieran nunca en los datos de entrenamiento.

Mitigaciones · Gobernanza

• Privacidad diferencial — Garantia matematica que limita lo que los adversarios pueden inferir sobre ejemplos individuales de entrenamiento
• Perturbacion de salidas — Anadir ruido a las salidas del modelo, reduciendo la precision disponible para los ataques de inferencia de pertenencia
• Restriccion de puntuaciones de confianza — Limitar o evitar la devolucion de puntuaciones de confianza en APIs publicas; son la fuente principal de informacion para los ataques de inferencia
• Limitacion de tasa de la API — Limitar el volumen de consultas; los ataques de inferencia de pertenencia suelen requerir muchas consultas repetidas
• Aprendizaje federado — Entrenar modelos sin centralizar los datos brutos, reduciendo la superficie de ataque para la inferencia de pertenencia