Como la seguridad de la IA rompe los supuestos de la ciberseguridad tradicional

Qué es este riesgo

Vulnerabilidades en sistemas de IA, cadenas de herramientas de desarrollo de software y hardware que pueden ser explotadas por actores maliciosos, resultando en acceso no autorizado, brechas de datos y privacidad, o manipulación del sistema que causa outputs o comportamientos inseguros.

Este subdominio cubre vectores de ataque específicos de los sistemas de IA que los frameworks de ciberseguridad tradicionales no abordan.

Cómo ocurre · Mecanismos

Tipo de ataque	Descripción	Ejemplo
Inyección de prompt	Instrucciones maliciosas anulan las instrucciones del sistema	«Ignora las instrucciones anteriores y…»
Ejemplos adversariales	Inputs diseñados para engañar al modelo	Evasión de clasificación de imágenes
Envenenamiento de modelos	Introducción de datos maliciosos en conjuntos de entrenamiento	Triggers de puerta trasera
Extracción de modelos	Reconstrucción de un modelo propietario mediante consultas API	Robo de pesos de modelos comerciales
Jailbreaking	Evitar barreras de seguridad mediante prompts creativos	Elicitar contenido dañino
Ataques a la cadena de suministro	Comprometer bibliotecas de IA, modelos preentrenados o pipelines de datos	Modelos de código abierto envenenados

Incidentes reales

Inyección de prompt indirecta en agentes de IA (2023–2024)

Múltiples demostraciones mostraron que los agentes de IA (con acceso a email, calendario, navegación web) podían ser secuestrados por contenido malicioso en páginas web o emails que procesaban.

Manipulación de Bing Chat mediante contenido web (2023)

Investigadores demostraron que Bing Chat podía ser manipulado por contenido en páginas web que se le pedía resumir, haciéndole ignorar las instrucciones del sistema.

Riesgos en la cadena de suministro de Hugging Face (2024)

Investigadores de seguridad encontraron que el hub de modelos de Hugging Face alojaba modelos con código malicioso que se ejecutaba al cargarlos.

Mitigaciones · Gobernanza

• Validacion y sanitizacion de entradas — Validar y sanear todas las entradas antes de su procesamiento por los sistemas de IA en produccion
• Defensas contra inyeccion de prompts — Separaciones arquitectonicas entre los prompts del sistema y las entradas del usuario final
• Minimizacion de privilegios para agentes de IA — Limitar que acciones pueden ejecutar los agentes de IA de forma autonoma sin supervision
• Verificacion de la cadena de suministro — Verificar la integridad de modelos preentrenados, librerias y conjuntos de datos utilizados
• Ejercicios de red team — Realizar pruebas adversariales especificas para las superficies de ataque de la IA
• Monitorizacion del comportamiento del modelo — Detectar salidas anomalas que puedan indicar ataques exitosos contra el sistema
• Ejecucion en sandbox — Ejecutar los sistemas de IA en entornos aislados para limitar el radio de explosion de compromisos