Envenenamiento de Datos — Ataque adversario sobre los datos de entrenamiento de IA

Definición

El envenenamiento de datos es un ataque adversario sobre sistemas de IA en el que un atacante manipula los datos de entrenamiento para que el modelo aprenda patrones incorrectos, produzca salidas erróneas específicas o se comporte de forma distinta en escenarios seleccionados. A diferencia de la inyección de prompts, que ataca al modelo en tiempo de inferencia, el envenenamiento de datos ataca al modelo en tiempo de entrenamiento, corrompiendo su comportamiento aprendido antes del despliegue.

Por qué importa operativamente

El envenenamiento de datos importa porque es silencioso por diseño. Un ataque de puerta trasera no deja rastro visible en el rendimiento normal del modelo: el modelo supera todas las pruebas de validación estándar y parece funcionar correctamente. El comportamiento malicioso se activa solo cuando aparece la condición de disparo del atacante, que puede no aparecer en ningún conjunto de datos de prueba. Las organizaciones pueden desplegar modelos envenenados, certificarlos y operarlos en producción sin ningún indicio de compromiso hasta que el disparador es explotado.

Marco regulatorio

Cómo lo evalúa Zertia

Zertia evalúa la exposición al envenenamiento de datos mediante la Auditoría de Modelos de IA y la Auditoría de Sistemas de IA de Alto Riesgo. La evaluación examina: la procedencia y los controles de integridad de los datos de entrenamiento; la seguridad del pipeline de datos (quién accede a los datos de entrenamiento, qué controles impiden modificaciones no autorizadas); los procesos de diligencia debida sobre conjuntos de datos de terceros; las pruebas de comportamiento anómalo del modelo ante entradas fuera de distribución; y si las arquitecturas de aprendizaje continuo cuentan con salvaguardas contra el envenenamiento a través del feedback de usuarios.