Falta de transparencia, explicabilidad y confianza
La investigación en **interpretabilidad** de la inteligencia artificial (IA) se dedica a dilucidar cómo estos sistemas alcanzan sus conclusiones y ejecutan acciones [111]. Sin embargo, la **encarnación física** de la IA (su despliegue en entornos reales, como la robótica o la conducción autónoma) eleva drásticamente la necesidad de comprender estos mecanismos. Por ejemplo, la **transparencia** de las acciones planeadas y la **explicabilidad** de la toma de decisiones son fundamentales cuando un vehículo autónomo (VA) realiza un cambio de carril inesperado. Una deficiencia en transparencia y explicabilidad podría minar la confianza pública, lo que, a su vez, podría transformarse en un problema socialmente desestabilizador y crítico con la implementación a gran escala de la IA Encarnada (IAE) [112–114].
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1286
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Adoptar y operacionalizar rigurosamente técnicas de Inteligencia Artificial Explicable (XAI) e Interpretabilidad. Esto incluye la preferencia por modelos inherentemente interpretables en aplicaciones críticas y la aplicación sistemática de métodos post-hoc (como LIME y SHAP) para modelos complejos con el fin de dilucidar la causalidad de sus decisiones y resultados. 2. Instituir un marco de gobernanza integral del ciclo de vida del modelo (MLOps disciplinado) que garantice la trazabilidad y la responsabilidad algorítmica. Esto debe incluir la documentación exhaustiva del diseño, los datos de entrenamiento, las versiones del modelo y los controles de calidad aplicados, asegurando la transparencia operativa para auditorías y el cumplimiento de requisitos normativos. 3. Garantizar la transparencia de cara al usuario mediante la provisión de explicaciones (justificabilidad) claras y comprensibles de las decisiones del sistema. Asimismo, implementar mecanismos de evaluación continua y mitigación activa de sesgos en el modelo para preservar la equidad de los resultados y reforzar la confianza pública en la tecnología.