Cuando minimas perturbaciones rompen sistemas de IA entrenados con datos perfectos

Qué es este riesgo

La vulnerabilidad de los sistemas IA a los ejemplos adversariales — inputs elaborados mediante optimización matemática para causar que los sistemas IA cometan errores específicos, mientras parecen normales o sin cambios a los observadores humanos. Los ejemplos adversariales explotan la diferencia fundamental entre cómo los humanos y los sistemas IA procesan la información.

Cómo ocurre · Mecanismos

Las redes neuronales aprenden fronteras de decisión en espacios de alta dimensión. Estas fronteras tienen propiedades contraintuitivas:

• Perturbaciones pequeñas y cuidadosamente elegidas pueden empujar un input a través de una frontera de decisión
• Estas perturbaciones son imperceptibles para los humanos (cambios a nivel de píxel en imágenes, adiciones de frecuencia inaudibles en audio)
• Las perturbaciones no son aleatorias — están específicamente optimizadas para causar una clasificación errónea deseada

Ejemplo: Añade ruido cuidadosamente elegido a nivel de píxel a una imagen de un panda. Los humanos siguen viendo un panda. La IA lo clasifica como un gibbon con un 99,3% de confianza.

Incidentes reales

Señales de stop adversariales (Eykholt et al., 2018)

Investigadores demostraron que parches adversariales físicos en señales de stop podían hacer que los sistemas de percepción de vehículos autónomos las clasificaran como señales de límite de velocidad.

Maquillaje facial adversarial (Komkov & Petiushko, 2021)

Investigadores demostraron que patrones específicos de maquillaje podían derrotar sistemas de reconocimiento facial comerciales mientras parecen elecciones de moda ordinarias.

Mitigaciones · Gobernanza

• Entrenamiento adversario — Incluir ejemplos adversarios en los datos de entrenamiento; mejora la robustez pero reduce la precision con datos limpios
• Defensas certificadas — Garantias matematicas sobre robustez dentro de un limite de perturbacion definido (costoso computacionalmente)
• Preprocesamiento de entradas — Aleatorizacion, suavizado u otros preprocesamientos que interrumpan las perturbaciones adversarias diseniadas
• Metodos de ensamble — Multiples modelos son mas dificiles de atacar simultaneamente que un unico modelo aislado
• Seguridad fisica — Para ataques adversarios en el mundo fisico, los controles de seguridad fisica reducen la oportunidad de ataque
• Pruebas adversarias — Probar los sistemas de IA frente a metodos conocidos de ataque adversario antes del despliegue en contextos sensibles a la seguridad