Robustez de la IA — Pruebas de Resiliencia y Requisitos para Sistemas de IA

Definición

La robustez de la IA hace referencia a la capacidad de un sistema de IA para mantener el rendimiento y el comportamiento previstos en un rango de condiciones desafiantes — incluidos entradas ruidosas o corruptas, desplazamientos de la distribución de datos, casos límite fuera de la distribución de entrenamiento y perturbaciones adversariales deliberadas. Un sistema de IA robusto sigue produciendo salidas fiables cuando las condiciones del mundo real se desvían del entorno controlado en el que fue entrenado y validado.

Por qué importa operativamente

La robustez importa porque los modelos de IA se validan en condiciones controladas y se despliegan en el mundo real — y la brecha entre esos dos contextos es donde ocurren la mayoría de los fallos operativos. Un modelo que alcanza alta precisión en un conjunto de datos de validación puede fallar significativamente con datos de producción que reflejen variación estacional, diversidad geográfica, diferencias de equipos o características demográficas no representadas adecuadamente en el entrenamiento.

Marco regulatorio

Cómo lo evalúa Zertia

Zertia evalúa la robustez de la IA mediante la Auditoría de Modelos de IA y la Auditoría de Sistemas de IA de Alto Riesgo. La auditoría analiza si las pruebas de robustez cubren condiciones realistas de despliegue: si los conjuntos de test incluyen casos límite representativos, si se ha evaluado la robustez adversarial, si las entradas fuera de la distribución producen un comportamiento adecuado (incluida la degradación grácil en lugar de una clasificación errónea silenciosa) y si la evidencia de robustez documentada en el expediente técnico cumple los requisitos del Anexo IV.