Volver al repositorio MIT
6. Socioeconómico y Ambiental3 - Otro

Fallos de combinación

Los perjuicios potenciales pueden surgir de la confluencia sistémica de fallos en el ámbito normativo, deficiencias en la gestión y errores en la ejecución operativa.

Fuente: MIT AI Risk Repositorymit936

ENTIDAD

1 - Humano

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit936

Linea de dominio

6. Socioeconómico y Ambiental

262 riesgos mapeados

6.5 > Fallo de gobernanza

Estrategia de mitigacion

1. Establecer un Marco de Gobernanza de IA Integral Establecer e implementar un Marco de Gobernanza de IA (AI Governance Framework) integral y proactivo que defina los roles, las responsabilidades y los mecanismos de rendición de cuentas para el ciclo de vida completo del sistema. Este marco debe integrar un Sistema de Gestión de Riesgos continuo e iterativo (como el recomendado por la Ley de IA/NIST RMF) para garantizar el cumplimiento normativo y prevenir la confluencia de fallos regulatorios. 2. Implementar un Sistema de Gestión de la Calidad y Robustez Operacional Exigir la adopción de un Sistema de Gestión de la Calidad (QMS) para validar la **robustez** y la **integridad** de los sistemas, cubriendo los fallos de gestión y los errores de ejecución operativa. Esto implica la implementación de controles técnicos rigurosos, como: - Diseño de sistemas con resiliencia incorporada, evitando puntos únicos de fallo y priorizando la **degradación controlada o predecible**. - Uso de **registro automático de eventos** (logging) para asegurar la trazabilidad y la monitorización continua de las operaciones del sistema.3. Desarrollar Estrategias de Contingencia Sistémica Diseñar y validar **Planes de Continuidad del Negocio y Contingencia** que aborden específicamente el riesgo de un **fallo combinado** sistémico. Estos planes deben incluir el desarrollo de **mecanismos de supervisión humana** de emergencia con la capacidad explícita de anulación o desconexión inmediata del sistema de IA (human-in-the-loop/override) para contener las consecuencias adversas en caso de que la confluencia de fallos se materialice.