Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Riesgos de modelos (Robustez)

Dada la naturaleza intrínsecamente no lineal y el gran tamaño de las redes neuronales profundas, los sistemas de inteligencia artificial presentan una alta susceptibilidad a entornos operativos complejos y dinámicos, o a la introducción de interferencias e inducciones maliciosas. Esta vulnerabilidad puede resultar en una disminución objetiva del rendimiento del sistema y en la manifestación de errores críticos en los procesos de toma de decisiones.

Fuente: MIT AI Risk Repositorymit644

ENTIDAD

2 - IA

INTENCIÓN

3 - Otro

TIEMPO

2 - Post-despliegue

ID del riesgo

mit644

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Implementar Estrategias de Robustez Algorítmica Fortalecer la resistencia del modelo mediante técnicas como el *entrenamiento adversario* (*adversarial training*), la regularización avanzada y la validación estricta de entradas. Esto busca mitigar la susceptibilidad intrínseca de las redes neuronales profundas a la introducción de perturbaciones sutiles y al ruido operacional, asegurando la fiabilidad del sistema bajo condiciones extremas y de *worst-case* (peor escenario). 2. Establecer un Framework de Monitoreo Continuo y Observabilidad Desplegar un sistema de *observabilidad* en tiempo real para rastrear métricas críticas de rendimiento y calidad de datos (como la detección de *model drift* y *data quality issues*). Esta supervisión es esencial en la fase post-despliegue para identificar y señalar proactivamente cualquier degradación objetiva del rendimiento o desviación del comportamiento esperado causada por la naturaleza compleja y cambiante del entorno operativo. 3. Ejecutar Pruebas Rigurosas de Resiliencia Realizar *stress testing* y ejercicios de *red teaming* de IA a lo largo del ciclo de vida del sistema para simular activamente interferencias maliciosas (*ataques adversarios*) y *escenarios de borde*. Este enfoque holístico evalúa la resiliencia del modelo en un contexto de conflicto constante, descubriendo vulnerabilidades ocultas en la robustez que podrían conducir a errores críticos en la toma de decisiones.