Prompt Injection — LLM Security Vulnerability and Governance Controls
Definición
La inyección de prompt es una clase de ataque adversarial específica de sistemas de IA basados en LLMs en la que un atacante elabora entradas maliciosas que hacen que el modelo anule sus instrucciones previstas, evite las medidas de seguridad o ejecute acciones no autorizadas.
Existen dos variantes principales: la inyección directa de prompt (el atacante proporciona instrucciones maliciosas directamente) y la inyección indirecta de prompt (instrucciones maliciosas incrustadas en contenido que el sistema recupera y procesa), que es más peligrosa en contextos de IA agentiva.
Por qué importa operativamente
La inyección de prompt importa porque no es un error — es un desafío arquitectónico fundamental de los sistemas LLM actuales. No existe un parche que elimine la vulnerabilidad. Los controles de seguridad no pueden asumir que el modelo se comportará de forma segura si se expone a contenido no confiable.
Marco regulatorio
| Framework | Aplicación a la inyección de prompt |
|---|---|
| EU AI Act | Los sistemas de IA de alto riesgo deben ser robustos frente a intentos de terceros de alterar su uso, salidas o rendimiento mediante la explotación de vulnerabilidades del sistema. La inyección de prompt es una vulnerabilidad explícitamente relevante para este requisito. |
| ISO/IEC 42001 | Los controles del Anexo A sobre seguridad y robustez del sistema de IA incluyen la protección frente a ataques adversariales, de los que la inyección de prompt es una categoría específica. |
| ISO/IEC 27001 | La gestión de la seguridad de la información cubre la seguridad de aplicaciones, incluyendo las basadas en LLMs. Los controles técnicos de hardening de aplicaciones son aplicables. |
| NIST AI RMF | La función Measure incluye la evaluación de la robustez y la seguridad frente a ataques adversariales como dimensión de riesgo. |
—
Cómo lo evalúa Zertia
Zertia evalúa la exposición a la inyección de prompt como parte de la Auditoría de Modelos de IA y la Auditoría de Sistemas de Alto Riesgo.
[Auditoría de Modelos de IA] · [Auditoría de Sistemas de Alto Riesgo]
Definiciones que se sostienen ante un auditor.
¿Este término aplica a tu proyecto de certificación? Hablemos 30 min sin compromiso.
