Opacidad
Este riesgo se origina en la fundamental incompatibilidad entre la optimización matemática en espacios de alta dimensionalidad —mecanismo central del aprendizaje automático— y las exigencias del razonamiento a escala humana y los métodos de interpretación semántica que empleamos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit600
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Priorizar modelos intrínsecamente interpretables o híbridos. Cuando la complejidad lo exija, establecer marcos de gobernanza que obliguen a los proveedores a documentar de forma exhaustiva la arquitectura, los datos de entrenamiento y los parámetros de los modelos de "caja negra" para permitir la trazabilidad. 2. Implementar técnicas de Inteligencia Artificial Explicable (XAI). Aplicar métodos *post-hoc* y agnósticos al modelo, como LIME o SHAP, para generar explicaciones locales sobre las predicciones específicas, lo que es esencial para la justificación y la auditoría. 3. Garantizar la supervisión humana y la comunicación de decisiones. Establecer procesos de "human-in-the-loop" para la toma de decisiones críticas y crear interfaces que presenten la justificación del sistema de IA, permitiendo a los afectados solicitar y recibir explicaciones claras sobre los resultados.