Seguridad de la IA — Requisitos Técnicos y de Gobernanza para Sistemas de IA Seguros

Definición

La seguridad de la IA hace referencia al conjunto de medidas técnicas y de gobernanza que garantizan que los sistemas de IA se comporten según lo previsto, no causen daños no deseados, permanezcan dentro de los parámetros operativos durante todo su ciclo de vida y puedan corregirse o detenerse de forma fiable cuando se desvíen del comportamiento seguro. Abarca tanto la seguridad estrecha — prevenir fallos específicos y previsibles de los sistemas de IA desplegados — como la seguridad sistémica más amplia — garantizar que los sistemas de IA no produzcan resultados catastróficos, irreversibles o incontrolables a escala.

Por qué importa operativamente

La seguridad de la IA importa porque los sistemas de IA desplegados en contextos de alto riesgo pueden causar daños desproporcionados respecto a sus fallos de diseño. Un sistema de IA médico que clasifica erróneamente un diagnóstico, un sistema de control de infraestructuras críticas para la seguridad que responde incorrectamente a un caso límite o un sistema autónomo de decisión que produce resultados discriminatorios a escala representan todos ellos fallos de seguridad cuyas consecuencias van mucho más allá de los típicos errores de software.

Marco regulatorio

Cómo lo evalúa Zertia

Zertia evalúa la seguridad de la IA mediante la Auditoría de Sistemas de IA de Alto Riesgo, que evalúa específicamente la conformidad con los requisitos de seguridad del Reglamento de IA de la UE: pruebas de precisión y robustez, evaluación de seguridad adversarial, mecanismos de contención y anulación, y si la monitorización postcomercialización está diseñada para detectar la degradación de la seguridad. La certificación ISO/IEC 42001 evalúa los controles del sistema de gestión que gobiernan la seguridad de la IA a nivel organizativo.