Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Falta de Interpretabilidad

La opacidad intrínseca de la mayoría de los modelos de aprendizaje automático, a menudo denominada el problema de la "caja negra", implica que los usuarios carecen de la capacidad para discernir y comprender la lógica o el razonamiento que sustentan las decisiones emitidas por el sistema

Fuente: MIT AI Risk Repositorymit466

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit466

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Priorizar el desarrollo y el despliegue de **modelos inherentemente interpretables (white-box)**, como las regresiones lineales o los árboles de decisión, siempre que su rendimiento sea adecuado para el dominio de aplicación. Esta estrategia aborda la opacidad en la fase de diseño, garantizando una transparencia algorítmica fundamental y facilitando intrínsecamente la comprensión del razonamiento subyacente del sistema. 2. Implementar obligatoriamente **técnicas de explicabilidad post-hoc (Explainable AI - XAI)**, preferentemente model-agnostic, como LIME (Local Interpretable Model-agnostic Explanations) o SHAP (SHapley Additive exPlanations), para cualquier modelo de aprendizaje automático que se clasifique como opaco (black-box) y cuyo uso sea necesario. Esto permite generar explicaciones claras sobre las predicciones tanto a nivel global como local, satisfaciendo la necesidad de discernir la lógica de la decisión. 3. Establecer un **marco de gobernanza y trazabilidad** que defina y documente de manera explícita el nivel de interpretabilidad y explicabilidad requerido (context-dependent) para cada sistema de IA. Este marco debe incluir la articulación de objetivos epistemológicos (confianza, imparcialidad) con criterios técnicos medibles y el cumplimiento de requisitos regulatorios (p. ej., el derecho a una explicación), asegurando la rendición de cuentas (accountability) de las decisiones emitidas por el sistema en todo su ciclo de vida.