Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Explicabilidad

Una preocupación central en el desarrollo de la inteligencia artificial, especialmente en los modelos generativos, es la denominada falta de *explicabilidad* y *transparencia*. Esto se refiere a la deficiencia de información sobre el proceso o el razonamiento interno que utiliza el algoritmo para llegar a un resultado específico. Esta opacidad algorítmica genera múltiples problemas. Para el usuario, resulta complicado tanto interpretar y comprender la información generada como descubrir posibles errores, lo que inevitablemente erosiona la confianza en la fiabilidad del sistema. A nivel institucional, esta barrera de transparencia complica que los organismos reguladores puedan evaluar la justicia o la potencialidad de sesgo del sistema de IA, dificultando su fiscalización y el cumplimiento normativo.

Fuente: MIT AI Risk Repositorymit511

ENTIDAD

3 - Otro

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit511

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Prioridad Máxima: Adopción de la Interpretación Intrínseca y el Diseño "Explicable" Implementar un principio de Ingeniería de la Intelligibilidad, priorizando el desarrollo o la selección de modelos intrínsecamente interpretables (modelos de "caja blanca") que permitan una comprensión directa de su lógica interna. Para los modelos más complejos, se debe asegurar que la capacidad de explicabilidad sea un requisito integrado desde la concepción del sistema (*interpretability baked in*), permitiendo a los *stakeholders* técnicos auditar y modificar la operación interna para mitigar sesgos y garantizar la justicia algorítmica (Fuente 17, 18, 19). 2. Alta Prioridad: Implementación de Técnicas Avanzadas de Explicabilidad Post Hoc Aplicar de manera sistemática metodologías de explicabilidad *post hoc* (posteriores a la decisión) como SHAP (SHapley Additive exPlanations) y LIME (Local Interpretable Model-agnostic Explanations). Estas técnicas son cruciales para proporcionar justificaciones específicas, transparentes y comprensibles para las predicciones o decisiones individuales de modelos complejos ("caja negra"), lo cual es esencial para fomentar la confianza, permitir la detección de errores y asegurar la trazabilidad y la rendición de cuentas (Fuente 3, 16, 17). 3. Prioridad Sustancial: Establecimiento de un Marco Riguroso de Gobernanza y Documentación Desarrollar y aplicar un Marco de Gobernanza de la IA que exija la documentación exhaustiva y clara a lo largo de todo el ciclo de vida del modelo. Esto debe incluir la transparencia sobre los datos de entrenamiento, los parámetros del modelo, sus capacidades y limitaciones. Dicha documentación no solo facilita el cumplimiento normativo y ético (al permitir la evaluación del potencial sesgo), sino que también asegura que los usuarios y reguladores puedan comprender el funcionamiento del sistema, lo que es vital para la adopción adecuada y la confianza institucional (Fuente 5, 7, 13, 14).