Riesgos del mundo real (Riesgos económicos/seguridad)
La fiabilidad de los sistemas de inteligencia artificial está fundamentalmente amenazada. Por un lado, enfrentamos fallos cognitivos del modelo, manifestados como decisiones erróneas o "alucinaciones"; por otro, existen vulnerabilidades operacionales, como la degradación del rendimiento, las interrupciones o la pérdida de control del sistema, a menudo provocadas por usos incorrectos o ataques externos. Estos escenarios representan un riesgo sistémico que compromete la seguridad física, el patrimonio financiero y la estabilidad socioeconómica de los usuarios.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit660
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
- Prioridad 1: Implementación de un régimen riguroso de entrenamiento adversarial y pruebas de estrés (red teaming) para fortalecer la resiliencia del modelo frente a entradas inesperadas y ataques externos. Esto garantiza estabilidad operativa y reduce la vulnerabilidad ante la pérdida de control o interrupciones inducidas. - Prioridad 2: Despliegue de marcos de seguridad (guardrails) automatizados a nivel de la plataforma para validar y restringir dinámicamente los resultados del modelo. Esta capa de contención mitiga las alucinaciones y las decisiones erróneas al asegurar el cumplimiento de las políticas de seguridad en tiempo de ejecución. - Prioridad 3: Establecimiento de un ciclo de vida proactivo para la validación continua de datos y la detección algorítmica de la desviación o deriva del modelo (model drift). Esto previene la degradación gradual del rendimiento del sistema y asegura la fiabilidad predictiva a largo plazo.