Riesgos de modelos (Robustez)
Dada la naturaleza intrínsecamente no lineal y el gran tamaño de las redes neuronales profundas, los sistemas de inteligencia artificial presentan una alta susceptibilidad a entornos operativos complejos y dinámicos, o a la introducción de interferencias e inducciones maliciosas. Esta vulnerabilidad puede resultar en una disminución objetiva del rendimiento del sistema y en la manifestación de errores críticos en los procesos de toma de decisiones.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit644
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar Estrategias de Robustez Algorítmica Fortalecer la resistencia del modelo mediante técnicas como el *entrenamiento adversario* (*adversarial training*), la regularización avanzada y la validación estricta de entradas. Esto busca mitigar la susceptibilidad intrínseca de las redes neuronales profundas a la introducción de perturbaciones sutiles y al ruido operacional, asegurando la fiabilidad del sistema bajo condiciones extremas y de *worst-case* (peor escenario). 2. Establecer un Framework de Monitoreo Continuo y Observabilidad Desplegar un sistema de *observabilidad* en tiempo real para rastrear métricas críticas de rendimiento y calidad de datos (como la detección de *model drift* y *data quality issues*). Esta supervisión es esencial en la fase post-despliegue para identificar y señalar proactivamente cualquier degradación objetiva del rendimiento o desviación del comportamiento esperado causada por la naturaleza compleja y cambiante del entorno operativo. 3. Ejecutar Pruebas Rigurosas de Resiliencia Realizar *stress testing* y ejercicios de *red teaming* de IA a lo largo del ciclo de vida del sistema para simular activamente interferencias maliciosas (*ataques adversarios*) y *escenarios de borde*. Este enfoque holístico evalúa la resiliencia del modelo en un contexto de conflicto constante, descubriendo vulnerabilidades ocultas en la robustez que podrían conducir a errores críticos en la toma de decisiones.