Donde los fallos de seguridad de la IA se originan aguas arriba de cualquier modelo que despliegues

Qué es este riesgo

Ataques que comprometen sistemas IA atacando la cadena de suministro — los modelos, conjuntos de datos, bibliotecas e infraestructura que las organizaciones usan para construir aplicaciones IA — en lugar de atacar directamente la aplicación desplegada. Un modelo, conjunto de datos o biblioteca envenenado puede comprometer silenciosamente miles de aplicaciones posteriores.

Por qué los ataques a la cadena de suministro son especialmente peligrosos para la IA: La mayoría de organizaciones no entrenan modelos desde cero. Usan modelos fundacionales preentrenados, los ajustan y dependen de bibliotecas de terceros. Cada dependencia es una superficie de ataque potencial que no controlan.

Cómo ocurre · Mecanismos

Envenenamiento de modelos (en tiempo de entrenamiento)

Un atacante con acceso al proceso de entrenamiento inyecta ejemplos maliciosos que hacen que el modelo entrenado se comporte incorrectamente en condiciones específicas elegidas por el atacante.

Ataques de puerta trasera: El modelo envenenado se comporta normalmente en todos los inputs excepto los que contienen un disparador específico. Cuando está presente el disparador, el modelo produce el output especificado por el atacante.

Modelos preentrenados maliciosos

Modelos preentrenados distribuidos a través de repositorios (Hugging Face, GitHub) pueden contener código malicioso que se ejecuta cuando se carga el modelo.

Hallazgos de seguridad en Hugging Face (2024): Investigadores de seguridad encontraron modelos con código pickle malicioso que se ejecutaba al cargarlos. Se identificaron más de 100 modelos de este tipo antes de ser eliminados.

Envenenamiento de datos

Corrupción de conjuntos de datos de entrenamiento para influir en el comportamiento del modelo. Especialmente relevante para:

• Conjuntos de datos de código abierto usados ampliamente en la industria
• Conjuntos de datos obtenidos mediante web scraping
• Sistemas de aprendizaje federado donde los participantes contribuyen datos de entrenamiento

Incidentes reales

Modelos maliciosos en Hugging Face (2024)

Múltiples modelos encontrados con objetos Python serializados maliciosos que ejecutaban código arbitrario al cargarse. HuggingFace implementó escaneo de malware tras el incidente.

Agentes Durmientes (Anthropic, 2024)

Investigadores de Anthropic demostraron que los comportamientos de puerta trasera podían insertarse en modelos durante el entrenamiento y eran extremadamente difíciles de eliminar con técnicas estándar de entrenamiento de seguridad.

Mitigaciones · Gobernanza

Procedencia de modelos

• Verificación de modelos — Verificar hashes criptográficos de modelos preentrenados antes de cargarlos
• Restricción de fuentes — Usar solo modelos de fuentes verificadas y de confianza con escaneo de seguridad
• Testing de comportamiento — Testar modelos preentrenados para detectar comportamientos de puerta trasera antes de la integración

Cadena de suministro de datos

• Auditoría de conjuntos de datos — Revisar y validar conjuntos de datos de entrenamiento antes de su uso
• Seguimiento de procedencia de datos — Mantener registros de fuentes de datos e historial de procesamiento

Gestión de dependencias

• Análisis de composición de software — Rastrear y monitorear todas las dependencias IA para detectar vulnerabilidades
• Fijación de dependencias — Fijar versiones específicas y verificadas de bibliotecas IA
• Ejecución aislada — Ejecutar cargas de trabajo IA en entornos aislados para limitar el radio de explosión