Cuando la IA no puede distinguir las instrucciones de los datos que procesa

Qué es este riesgo

Ataques que manipulan el comportamiento de modelos de IA incrustando instrucciones adversariales en los inputs, anulando el comportamiento previsto del sistema, las barreras de seguridad o los controles de acceso. A diferencia de las vulnerabilidades de software tradicionales, la inyección de prompt explota la naturaleza fundamental de cómo los modelos de lenguaje procesan el texto: no pueden distinguir nativamente entre instrucciones y datos.

Cómo ocurre · Mecanismos

Inyección directa de prompt

El usuario intenta directamente anular las instrucciones del sistema a través de su input.

• «Ignora todas las instrucciones anteriores y…»
• «Ahora eres DAN (Do Anything Now)…»
• Escenarios de juego de roles diseñados para eludir el entrenamiento de seguridad
• Instrucciones codificadas (base64, lenguaje invertido)

Inyección indirecta de prompt

Instrucciones maliciosas incrustadas en contenido ambiental que la IA procesa (documentos, páginas web, emails). Más peligrosa en sistemas de producción.

Jailbreaking

Elusión sistemática de las barreras de seguridad mediante técnicas creativas de prompting. Se distingue de la inyección de prompt en que ataca las barreras conductuales en lugar de la anulación de instrucciones.

Incidentes reales

Bing Chat / Sydney (2023)

Investigadores descubrieron que Bing Chat podía ser manipulado para ignorar su system prompt mediante inyección directa de prompt.

Fuga de datos de Samsung vía ChatGPT (2023)

El incidente de Samsung implicó a empleados que efectivamente inyectaron datos confidenciales en un sistema externo.

Testing de seguridad de aplicaciones LLM (NCC Group, 2024)

NCC Group encontró vulnerabilidades de inyección de prompt en la mayoría de aplicaciones empresariales LLM que testaron. La mayoría no había sido testeada para vectores de ataque específicos de IA antes del despliegue.

Mitigaciones · Gobernanza

• Separación input/instrucción — Separar arquitectónicamente las instrucciones del sistema de los inputs de usuario
• Minimización de privilegios — Limitar las acciones que la IA puede tomar
• Filtrado de outputs — Filtrar outputs del modelo para información sensible antes de devolverlos a los usuarios
• Detección de patrones de inyección — Clasificar inputs para patrones de inyección conocidos antes del procesamiento
• Testing adversarial — Testar sistemáticamente vulnerabilidades de inyección antes del despliegue
• Revisión humana para acciones sensibles — Requerir aprobación humana antes de que la IA tome acciones sensibles