Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Falta de transparencia

Cuando el desarrollo y uso de la IA no se explican al usuario, o los procesos de decisión omiten los criterios y pasos clave, la tecnología se convierte en una "caja negra" cuyo funcionamiento resulta fundamentalmente inexplicable

Fuente: MIT AI Risk Repositorymit130

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit130

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Priorizar la Implementación de Sistemas de IA Explicable (XAI) e Interpretable Desarrollar y adoptar activamente metodologías y herramientas de Inteligencia Artificial Explicable (XAI) para desvelar el mecanismo de causalidad y la lógica de decisión de los algoritmos. Esto incluye la construcción de modelos inherentemente interpretables o el uso de técnicas de explicación *post-hoc* (como LIME o SHAP) para generar justificaciones comprensibles que permitan a los *stakeholders* y usuarios evaluar la justicia y la fiabilidad de las decisiones automatizadas. 2. Establecer un Marco de Transparencia Documental y Comunicativa Obligatoria Formalizar protocolos que exijan la documentación rigurosa y exhaustiva de todo el ciclo de vida del sistema de IA. Esta documentación debe incluir detalles sobre los conjuntos de datos de entrenamiento, las métricas de rendimiento, las limitaciones operativas y, crucialmente, la divulgación clara a los usuarios cuando están interactuando con una entidad o contenido generado por IA. La transparencia en la comunicación (etiquetado) es fundamental para mantener la confianza. 3. Integrar la Transparencia como un Pilar de la Gobernanza con Auditoría Regulatoria Incorporar los requisitos de transparencia y explicabilidad como mandatos obligatorios dentro del marco de gestión de riesgos y gobernanza de la IA. Esto debe contemplar la realización de auditorías periódicas e independientes para verificar el cumplimiento de los estándares de explicabilidad, identificar y remediar activamente cualquier opacidad algorítmica ('caja negra') y asegurar que los sistemas pueden ser investigados en caso de resultados perjudiciales o sesgos, reforzando así la responsabilidad (accountability).