Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Explicabilidad y Transparencia

Este concepto aborda dos pilares fundamentales de la seguridad en la IA: la *Transparencia* y la *Explicabilidad*. La Transparencia se define como la obligación del desarrollador de ser abierto y claro respecto a los insumos del sistema, es decir, los conjuntos de datos utilizados y los algoritmos empleados en su construcción. Por otro lado, la Explicabilidad es la viabilidad de que un observador (humano o técnico) pueda comprender e interpretar efectivamente las decisiones y acciones del sistema. La ausencia de esta dualidad—es decir, la opacidad algorítmica—genera riesgos críticos. Sin una comprensión clara del 'por qué' y el 'cómo' se produce una decisión, se facilita el uso indebido o la mala interpretación de los resultados del sistema, lo que resulta en una erosión de la confianza y, lo más importante, en una severa falta de rendición de cuentas cuando se producen errores o daños.

Fuente: MIT AI Risk Repositorymit161

ENTIDAD

2 - IA

INTENCIÓN

3 - Otro

TIEMPO

3 - Otro

ID del riesgo

mit161

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Implementar un Marco de Gobernanza de la Inteligencia Artificial Explicable (XAI) 2. Integrar Métodos de Explicabilidad Técnica (e.g., SHAP o LIME) para la Trazabilidad 3. Establecer un Protocolo de Comunicación y Supervisión Humana para Resultados Opacos