Falta de robustez
La Robustez, en el contexto de la Inteligencia Artificial, se define como la resiliencia operativa del sistema. Caracteriza la capacidad de la IA para mantener la coherencia y la estabilidad de sus resultados (output) aun cuando se introducen variaciones mínimas en los datos de entrada (input). En esencia, si el sistema muestra una variación excesiva o un comportamiento errático ante un ligero cambio en la información, es un indicador directo de que sus resultados son inestables y, por ende, poco fiables.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit892
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Refuerzo de la Robustez Mediante Entrenamiento Adversarial Implementar el entrenamiento adversarial exponiendo el modelo a ejemplos intencionalmente manipulados, a menudo imperceptibles (*adversarial examples*), para fortalecer su resiliencia operativa frente a ataques de evasión (como las inyecciones de *prompt*) y garantizar la estabilidad del *output* ante pequeñas perturbaciones en el *input*. 2. Estrategias Rigurosas de Calidad y Aumento de Datos (*Data Augmentation*) Aplicar técnicas de aumento de datos (*data augmentation*) y validación continua del *dataset* para expandir el dominio de entrenamiento del sistema. Esto mejora su capacidad de generalización (resiliencia OOD) al reducir la dependencia de correlaciones espurias y asegurar un desempeño coherente ante variaciones estilísticas o distribucionales en el *input* en tiempo real. 3. Implementación de un Marco de Monitoreo y Pruebas Continuas (*Red Teaming*) Establecer una metodología de evaluación continua que incorpore pruebas de estrés exhaustivas y *red teaming* (simulación de ataques). Asimismo, realizar el monitoreo constante de la deriva de datos (*data drift*) y la degradación del modelo para asegurar que la robustez inicial se mantenga durante el ciclo de vida del sistema en un entorno operacional dinámico.