Transparencia
En el ámbito de la seguridad y la gobernanza en la Inteligencia Artificial, este punto describe un aspecto crucial de la **Explicabilidad de la IA (XAI)**. Se trata de la exigencia de que una **entidad externa** del ecosistema (como un regulador, un usuario o un auditor) pueda determinar e identificar de forma precisa **qué variables o subconjuntos específicos de los datos de entrada** fueron los factores causales que moldearon o afectaron la **decisión final** o la predicción generada por el modelo de aprendizaje automático. Esta transparencia es esencial para auditar los sesgos algorítmicos, garantizar la rendición de cuentas y fomentar la confianza en sistemas de toma de decisiones que son, por naturaleza, opacos.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit570
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Prioridad Alta: Implementación de Técnicas de Explicabilidad de IA (XAI) Establecer la aplicación obligatoria de métodos de explicabilidad post-hoc, tales como SHAP (SHapley Additive exPlanations) y LIME (Local Interpretable Model-agnostic Explanations), para todos los modelos de aprendizaje automático clasificados como "caja negra" y de alto riesgo. El objetivo primordial es generar explicaciones localizadas que cuantifiquen la contribución marginal de las variables o subconjuntos de datos de entrada a cada decisión individual, satisfaciendo así la demanda de las entidades externas de identificar los factores causales con precisión (Fuente 6, 7, 16, 20). 2. Prioridad Media: Creación de un Marco de Gobernanza y Auditoría Algorítmica Integrar la transparencia y la auditabilidad como pilares centrales del marco de gobernanza de la IA. Esto implica la institucionalización de un proceso de "auditoría algorítmica" que asegure la documentación sistemática y continua de los datos de entrenamiento, los criterios de optimización, los procesos de muestreo y los mecanismos de *feedback* del modelo a lo largo de todo su ciclo de vida. Esta medida es esencial para la rendición de cuentas institucional y para mitigar sesgos de forma proactiva (Fuente 11, 13, 16). 3. Prioridad Baja: Publicación de un Aviso Formal de Transparencia y Explicabilidad Desarrollar un documento público y oficial, redactado en lenguaje claro y accesible, que informe a las partes interesadas externas sobre la naturaleza y el uso del sistema de IA, el nombre de la entidad responsable y los mecanismos disponibles para que un usuario pueda solicitar mayor información, ejercer sus derechos o impugnar una decisión automatizada. Este aviso debe alinearse con las directrices regulatorias globales y contribuir a la construcción de la confianza y el entendimiento general (Fuente 15).