Explicabilidad
Se refiere a cualquier proceso o acción que un modelo de inteligencia artificial ejecuta sobre sí mismo con el objetivo de hacer transparentes y comprensibles sus propios mecanismos internos, sus estados y sus reglas de funcionamiento.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit609
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. **Implementar Técnicas de Inteligencia Artificial Explicable (XAI)**: Desplegar metodologías *post-hoc* o modelos intrínsecamente interpretables para asegurar la generación de justificaciones algorítmicas verificables y comprensibles. Esto incluye la utilización de herramientas como LIME o SHAP para dilucidar la influencia de las características en la decisión final, garantizando la trazabilidad del proceso de inferencia. 2. **Establecer un Marco de Transparencia Documental y Regulatoria**: Definir y mantener una documentación exhaustiva del sistema de IA a lo largo de su ciclo de vida, especificando su propósito, limitaciones, nivel de precisión, robustez, y los conjuntos de datos de entrenamiento. Es imperativo establecer protocolos claros para comunicar a los usuarios la interacción con un sistema de IA y proporcionarles un mecanismo accesible para solicitar una explicación de las decisiones que les afecten. 3. **Integrar Mecanismos de Supervisión y Rendición de Cuentas Humanos**: Incorporar procesos de "humano en el bucle" (human-in-the-loop) para decisiones de alto riesgo, lo que implica establecer la capacidad de anulación y desenganche del sistema. Es fundamental asignar responsabilidades claras de gobernanza sobre la explicabilidad y capacitar a los operadores humanos para comprender plenamente las capacidades y limitaciones del modelo.