Falta de explicabilidad
La explicabilidad de los sistemas de Inteligencia Artificial, especialmente aquellos que operan mediante modelos denominados de "caja negra", es a menudo restringida. Esta inherente opacidad dificulta significativamente la labor de los desarrolladores para identificar y corregir posibles deficiencias tanto en los datos de entrenamiento como en la arquitectura interna del propio modelo. En última instancia, esta falta de transparencia compromete directamente la robustez, el rendimiento óptimo y los niveles de seguridad del sistema de IA.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit890
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Priorizar la adopción de modelos intrínsecamente interpretables (caja blanca) para tareas sensibles o, alternativamente, integrar de manera rigurosa y sistemática técnicas de Explicabilidad de la Inteligencia Artificial (XAI) de última generación (como SHAP o LIME) para generar explicaciones robustas y comprensibles, tanto a nivel local (predicción específica) como global (comportamiento general del modelo), durante la fase de desarrollo. 2. Establecer e implementar marcos de gobernanza de la IA que integren la transparencia y la explicabilidad como requisitos no negociables para el ciclo de vida del modelo, asegurando el cumplimiento con las normativas éticas y legales (ej. AI Act de la UE) que exigen un entendimiento claro de los sistemas de IA, lo cual es fundamental para la rendición de cuentas y la mitigación de sesgos inadvertidos. 3. Implementar mecanismos de monitorización continua (post-despliegue) y trazabilidad completa del sistema para detectar desviaciones en el rendimiento o cambios en el comportamiento del modelo (model drift), e invertir en la capacitación especializada del personal técnico y no técnico para que puedan interpretar, validar y comunicar adecuadamente las explicaciones generadas por la IA.