Falta de transparencia
La opacidad inherente a los sistemas de caja negra que deciden sin ofrecer explicaciones ni visibilidad del proceso genera dos riesgos críticos: la incapacidad de generar confianza en el usuario y el incumplimiento de requisitos regulatorios esenciales, como la auditabilidad.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit90
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Prioridad: Implementar metodologías de Inteligencia Artificial Explicable (XAI) y técnicas de interpretabilidad post-hoc (como LIME o SHAP) e intrínsecas para elucidar la causalidad de las decisiones algorítmicas, garantizando la trazabilidad de los procesos internos del modelo a nivel local y global. 2. Prioridad: Establecer un marco formal de gobernanza y gestión de riesgos de IA que exija la auditoría rigurosa y continua de los sistemas para verificar el cumplimiento con los requisitos normativos de transparencia (e.g., Ley de IA) y asignar la responsabilidad (accountability) humana clara para toda decisión automatizada crítica. 3. Prioridad: Documentar y divulgar la procedencia y preparación de los datos de entrenamiento, incluyendo los métodos de recolección, etiquetado y las estrategias empleadas para la mitigación de sesgos, con el fin de permitir la evaluación de los riesgos de representación y la fiabilidad del modelo.