Ataque Adversario — Manipulación deliberada de sistemas de IA

Definición

Un ataque adversario es un intento deliberado de manipular el comportamiento de un sistema de IA elaborando entradas que hacen que el modelo produzca salidas incorrectas o las que desea el atacante, mientras que a ojos humanos parecen normales. Los ataques adversarios explotan la diferencia fundamental entre cómo procesan la información los modelos de IA y cómo perciben esa misma información las personas: pequeñas perturbaciones cuidadosamente diseñadas sobre una entrada pueden provocar cambios drásticos en la salida del modelo sin que la perturbación sea perceptible para un revisor humano.

Por qué importa operativamente

Los ataques adversarios importan porque transforman la fiabilidad de la IA de una propiedad técnica a una propiedad de seguridad. Un modelo no es simplemente fiable o no fiable: es un objetivo. Para sistemas de IA que toman decisiones consecuentes en contextos de alto impacto —detección de fraude, control de acceso, diagnóstico médico, scoring de crédito— la manipulación adversaria puede lograr que casos específicos de fraude se clasifiquen erróneamente como legítimos, que a individuos concretos se les deniegue o conceda indebidamente el acceso y que resultados diagnósticos específicos queden suprimidos.

Marco regulatorio

Cómo lo evalúa Zertia

Zertia evalúa la exposición a ataques adversarios mediante la Auditoría de Modelos de IA y la Auditoría de Sistemas de IA de Alto Riesgo. La evaluación examina si se han realizado pruebas de robustez adversaria, qué tipos de ataque se cubren, si los resultados están documentados en el expediente técnico, qué controles de mitigación existen (validación de entradas, filtrado de salidas, umbrales de confianza, entrenamiento adversario) y si la organización cuenta con un proceso para actualizar las defensas adversarias a medida que surgen nuevas técnicas de ataque.