Falta de fiabilidad en casos límite
Los sistemas de inteligencia artificial tienden a mostrar un comportamiento inestable cuando se enfrentan a datos de entrada ambiguos o infrecuentes, conocidos como 'casos límite'. Por lo tanto, se exige un comportamiento rigurosamente controlado del sistema de IA cada vez que se encuentre ante una de estas circunstancias atípicas.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit891
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Prioridad Alta: Implementar metodologías de prueba robustas que incluyan la generación sistemática de casos límite (*corner cases*) y escenarios anómalos mediante técnicas de síntesis de datos sintéticos y *testing* adversarial, asegurando que el modelo exhiba el comportamiento controlado requerido ante datos de entrada ambiguos o infrecuentes. 2. Prioridad Media: Establecer arquitecturas de redundancia diversa y fusión multisensorial, que incorporen múltiples algoritmos y conjuntos de sensores independientes. Además, definir protocolos de seguridad funcional (ej. ISO 26262 e ISO 21448) que activen Maniobras de Condición de Riesgo Mínimo (MRC) al detectar escenarios no reconocidos, garantizando una transición segura del control operativo. 3. Prioridad Baja: Desplegar sistemas de monitorización continua en tiempo real para rastrear la calidad de los datos y el rendimiento del modelo en producción. Esto incluye la detección temprana de anomalías, deriva (*drift*) y la aplicación de estrategias de optimización adaptativa (como la ponderación dinámica de sensores) para mantener la fiabilidad operativa ante la variabilidad del entorno.