Incompetencia
Este fenómeno se describe como el simple fallo funcional del sistema de inteligencia artificial en la ejecución de su tarea asignada. Las consecuencias de tal incumplimiento son amplias, abarcando desde el riesgo de daño físico severo o la muerte involuntaria (por ejemplo, en un accidente automovilístico gestionado por un sistema autónomo) hasta la generación de perjuicios socioeconómicos, como el rechazo injustificado de una solicitud de crédito o de empleo.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit85
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Priorizar la Verificación y Validación Continua (VV\&C) del sistema, incluyendo la aplicación sistemática de pruebas adversarias y la evaluación de la robustez en un amplio espectro de condiciones operacionales para mitigar la falta de capacidad funcional. 2. Establecer un Régimen de Supervisión Humana Aumentada en puntos de decisión críticos. Esto implica la obligatoriedad de la validación experta post-despliegue en tareas de alto riesgo para interceder ante fallos del sistema que puedan resultar en daños físicos o socioeconómicos injustificados. 3. Implementar la Trazabilidad y el Mantenimiento de Registros de Auditoría exhaustivos para todas las decisiones y acciones del sistema. Esta medida es esencial para el análisis post-mortem de fallos funcionales, permitiendo la identificación de la causa raíz y asegurando la rendición de cuentas.