Explicabilidad y Transparencia
Este concepto aborda dos pilares fundamentales de la seguridad en la IA: la *Transparencia* y la *Explicabilidad*. La Transparencia se define como la obligación del desarrollador de ser abierto y claro respecto a los insumos del sistema, es decir, los conjuntos de datos utilizados y los algoritmos empleados en su construcción. Por otro lado, la Explicabilidad es la viabilidad de que un observador (humano o técnico) pueda comprender e interpretar efectivamente las decisiones y acciones del sistema. La ausencia de esta dualidad—es decir, la opacidad algorítmica—genera riesgos críticos. Sin una comprensión clara del 'por qué' y el 'cómo' se produce una decisión, se facilita el uso indebido o la mala interpretación de los resultados del sistema, lo que resulta en una erosión de la confianza y, lo más importante, en una severa falta de rendición de cuentas cuando se producen errores o daños.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit161
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Implementar un Marco de Gobernanza de la Inteligencia Artificial Explicable (XAI) 2. Integrar Métodos de Explicabilidad Técnica (e.g., SHAP o LIME) para la Trazabilidad 3. Establecer un Protocolo de Comunicación y Supervisión Humana para Resultados Opacos