Falta de transparencia del modelo
La *opacidad* de un modelo de inteligencia artificial se define por una escasez crítica: la documentación que detalla su diseño, desarrollo y proceso de evaluación es insuficiente. Esto se traduce en una ausencia de conocimientos claros sobre los *mecanismos internos* o el *funcionamiento fundamental* del modelo, impidiendo la comprensión de sus decisiones.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1195
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Implementación de Marcos de Gobernanza y Documentación Rigurosa Establecer un protocolo de gobernanza que exija la documentación exhaustiva del ciclo de vida del sistema de IA, abarcando desde la justificación del diseño y la representatividad de los datos de entrenamiento hasta las métricas de evaluación de rendimiento y equidad. Este requisito mitiga la insuficiencia crítica de información detallada sobre el desarrollo del modelo. 2. Aplicación de Técnicas de Explicabilidad e Interpretación (XAI) Adoptar sistemáticamente herramientas y metodologías de Explicabilidad de la Inteligencia Artificial (XAI), tales como el análisis de la importancia de características (Feature Importance Analysis), o la generación de explicaciones post-hoc. El objetivo es dilucidar los mecanismos internos del modelo y la lógica subyacente de sus decisiones, transformando la "caja negra" en un proceso comprensible. 3. Establecimiento de Auditorías Algorítmicas Independientes y Divulgación de Resultados Realizar auditorías algorítmicas periódicas por entes independientes. Estas deben evaluar rigurosamente el rendimiento, detectar y mitigar sesgos incrustados, y asegurar el cumplimiento normativo. Se recomienda la divulgación pública de los hallazgos de estas auditorías para fomentar la confianza y la transparencia social.