Grado de Automatización y Control
El concepto de grado de automatización y control se refiere a la dimensión crítica que cuantifica la independencia operativa de un sistema de Inteligencia Artificial. En términos precisos, mide la extensión en que dicho sistema es capaz de ejecutar sus funciones, tomar decisiones y operar de forma autónoma, sin depender de la supervisión o la intervención directa y continua por parte de un agente humano.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit181
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
- Establecer un marco de supervisión humana dinámica y estratificada: Implementar un esquema de "supervisión por niveles" (tiered supervision) donde las decisiones complejas o de alto riesgo requieran una revisión y ratificación obligatoria por parte de un operador humano calificado, mientras que las tareas rutinarias se ejecuten de forma autónoma. Esto debe complementarse con un bucle de retroalimentación continua para optimizar los procesos automatizados y reducir las vulnerabilidades asociadas a los tiempos de reacción humana. - Implementar mecanismos de seguridad técnica redundantes: Desarrollar e integrar "funciones de control redundantes" o un "mecanismo crítico" técnico que valide y apruebe las decisiones autónomas del sistema. Estas funciones deben adherirse rigurosamente a estándares de seguridad funcional (ej. IEC 61508) para garantizar que el sistema pueda alcanzar un estado seguro en caso de fallos y para mitigar los riesgos inherentes a la independencia operativa. - Asegurar la trazabilidad y la explicabilidad del sistema (XAI): Exigir la implementación de modelos de Inteligencia Artificial Explicable (XAI) que proporcionen transparencia sobre los procesos de toma de decisiones del sistema. Esto permite a los supervisores humanos comprender la justificación de las acciones automatizadas y, por ende, ejercer una supervisión efectiva y responsable, reduciendo el riesgo de juicios erróneos o exceso de confianza en la IA.
EVIDENCIA ADICIONAL
En el ámbito de la seguridad de los sistemas de Inteligencia Artificial, la solidez del diseño depende de múltiples factores. Un aspecto crucial es la *capacidad de respuesta* del sistema, pero resulta igualmente esencial la presencia de un *mecanismo crítico* o validador. Este 'crítico' tiene la función vital de convalidar o aprobar las decisiones tomadas de forma autónoma. Desde una óptica técnica, este rol puede materializarse mediante *funciones de control redundantes*: por ejemplo, la incorporación de segundos instrumentos de seguridad para los controles más sensibles, en un esquema que asigna funciones de seguridad a componentes duplicados, tal como lo especifican normativas como la IEC 61508-1 [36]. La alternativa es emplear un *operador humano* cuya labor sea la de intervenir en situaciones de riesgo o ratificar las acciones del sistema. Es importante subrayar que la mera inclusión de un humano en el bucle de control no garantiza una reducción automática del riesgo; de hecho, puede introducir nuevas vulnerabilidades vinculadas a variables humanas intrínsecas, como los tiempos de reacción y la comprensión situacional.