Explicabilidad y Razonamiento
La interpretabilidad de los resultados para el usuario y la corrección del razonamiento subyacente
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit465
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
- Priorizar el desarrollo de modelos intrínsecamente interpretables ('glass-box') o la adopción de un enfoque de 'Fairness-by-Design', integrando los principios de la IA Explicable (XAI) desde las etapas iniciales del ciclo de vida del sistema para garantizar la transparencia y la trazabilidad del comportamiento algorítmico. - Implementar rigurosamente técnicas *post-hoc* de IA Explicable (tales como SHAP, LIME o análisis contrafactual) para desglosar las decisiones de los modelos opacos. Es imprescindible adaptar estas explicaciones a las necesidades cognitivas de los diferentes usuarios (p. ej., expertos, reguladores y usuarios finales) para fomentar una confianza apropiada y no injustificada. - Establecer un marco de gobernanza de la IA que incluya la monitorización y auditoría continua del modelo en producción. Esto asegurará la detección de sesgos y la deriva del comportamiento a lo largo del tiempo, y garantizará el cumplimiento sistemático de los requisitos regulatorios sobre el "derecho a la explicación" (p. ej., GDPR o la Ley de IA de la UE).
EVIDENCIA ADICIONAL
La inherente opacidad, o naturaleza de 'caja negra', de la mayoría de los modelos de aprendizaje automático impide que los usuarios comprendan la lógica subyacente a sus decisiones, lo cual suscita graves preocupaciones en escenarios críticos. Este problema es particularmente acuciante en el uso comercial de Modelos de Lenguaje Grandes (LLMs) dentro de industrias de alto riesgo, tales como el diagnóstico médico, la selección de personal y la solicitud de préstamos.