Prompt Injection — LLM Security Vulnerability and Governance Controls

Definición

La inyección de prompt es una clase de ataque adversarial específica de sistemas de IA basados en LLMs en la que un atacante elabora entradas maliciosas que hacen que el modelo anule sus instrucciones previstas, evite las medidas de seguridad o ejecute acciones no autorizadas.

Existen dos variantes principales: la inyección directa de prompt (el atacante proporciona instrucciones maliciosas directamente) y la inyección indirecta de prompt (instrucciones maliciosas incrustadas en contenido que el sistema recupera y procesa), que es más peligrosa en contextos de IA agentiva.

Por qué importa operativamente

La inyección de prompt importa porque no es un error — es un desafío arquitectónico fundamental de los sistemas LLM actuales. No existe un parche que elimine la vulnerabilidad. Los controles de seguridad no pueden asumir que el modelo se comportará de forma segura si se expone a contenido no confiable.

Marco regulatorio

Framework Aplicación a la inyección de prompt
EU AI Act Los sistemas de IA de alto riesgo deben ser robustos frente a intentos de terceros de alterar su uso, salidas o rendimiento mediante la explotación de vulnerabilidades del sistema. La inyección de prompt es una vulnerabilidad explícitamente relevante para este requisito.
ISO/IEC 42001 Los controles del Anexo A sobre seguridad y robustez del sistema de IA incluyen la protección frente a ataques adversariales, de los que la inyección de prompt es una categoría específica.
ISO/IEC 27001 La gestión de la seguridad de la información cubre la seguridad de aplicaciones, incluyendo las basadas en LLMs. Los controles técnicos de hardening de aplicaciones son aplicables.
NIST AI RMF La función Measure incluye la evaluación de la robustez y la seguridad frente a ataques adversariales como dimensión de riesgo.

Cómo lo evalúa Zertia

Zertia evalúa la exposición a la inyección de prompt como parte de la Auditoría de Modelos de IA y la Auditoría de Sistemas de Alto Riesgo.

[Auditoría de Modelos de IA] · [Auditoría de Sistemas de Alto Riesgo]

Definiciones que se sostienen ante un auditor.

¿Este término aplica a tu proyecto de certificación? Hablemos 30 min sin compromiso.