Falta de Interpretabilidad
La opacidad intrínseca de la mayoría de los modelos de aprendizaje automático, a menudo denominada el problema de la "caja negra", implica que los usuarios carecen de la capacidad para discernir y comprender la lógica o el razonamiento que sustentan las decisiones emitidas por el sistema
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit466
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Priorizar el desarrollo y el despliegue de **modelos inherentemente interpretables (white-box)**, como las regresiones lineales o los árboles de decisión, siempre que su rendimiento sea adecuado para el dominio de aplicación. Esta estrategia aborda la opacidad en la fase de diseño, garantizando una transparencia algorítmica fundamental y facilitando intrínsecamente la comprensión del razonamiento subyacente del sistema. 2. Implementar obligatoriamente **técnicas de explicabilidad post-hoc (Explainable AI - XAI)**, preferentemente model-agnostic, como LIME (Local Interpretable Model-agnostic Explanations) o SHAP (SHapley Additive exPlanations), para cualquier modelo de aprendizaje automático que se clasifique como opaco (black-box) y cuyo uso sea necesario. Esto permite generar explicaciones claras sobre las predicciones tanto a nivel global como local, satisfaciendo la necesidad de discernir la lógica de la decisión. 3. Establecer un **marco de gobernanza y trazabilidad** que defina y documente de manera explícita el nivel de interpretabilidad y explicabilidad requerido (context-dependent) para cada sistema de IA. Este marco debe incluir la articulación de objetivos epistemológicos (confianza, imparcialidad) con criterios técnicos medibles y el cumplimiento de requisitos regulatorios (p. ej., el derecho a una explicación), asegurando la rendición de cuentas (accountability) de las decisiones emitidas por el sistema en todo su ciclo de vida.