Complejidad de la Tarea Prevista y Entorno de Uso
Conceptualmente, la complejidad inherente a los entornos operativos de un sistema de Inteligencia Artificial puede precipitar rápidamente la aparición de escenarios imprevistos o no considerados durante su etapa de diseño y entrenamiento. Consecuentemente, los ambientes de alta complejidad representan una fuente significativa de riesgo que impacta directamente la robustez y la seguridad del sistema.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit182
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Ejecutar sistemáticamente pruebas de estrés exhaustivas (stress-testing) y ejercicios de Red Teaming para simular escenarios adversarios y casos límite no previstos durante el diseño, asegurando la resiliencia del modelo ante la complejidad inherente al entorno operativo. 2. Implementar un sistema de monitoreo continuo en tiempo real (24/7) de las entradas de datos, el desempeño del modelo y el comportamiento del entorno para identificar y alertar proactivamente sobre anomalías, data drift o actividades adversarias que comprometan la robustez del sistema post-despliegue. 3. Establecer mecanismos de supervisión humana clara (Human-in-the-Loop) y diseñar planes de contingencia robustos que permitan la anulación o el desacoplamiento seguro del sistema de IA ante decisiones críticas o fallos inesperados inducidos por la complejidad del entorno.