Datos de entrenamiento inaccesibles
Cuando un sistema de IA carece de acceso directo a su conjunto de datos de entrenamiento, la naturaleza y el alcance de sus explicaciones se ven intrínsecamente limitados, lo que conduce a una mayor propensión a la inexactitud en sus justificaciones.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1180
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
Implementación de estrategias de mitigación para el riesgo de "Datos de entrenamiento inaccesibles"1. Prioridad Alta: Adoptar métodos de explicación post-hoc Implementar técnicas de posprocesamiento (post-hoc) como SHAP (SHapley Additive exPlanations) o LIME (Local Interpretable Model-agnostic Explanations). Estos métodos son fundamentales para generar justificaciones localmente comprensibles de las predicciones de modelos de "caja negra" cuando el acceso al conjunto de datos de entrenamiento original es inviable, permitiendo una interpretación basada únicamente en las entradas y salidas del modelo. 2. Prioridad Media: Adaptación de la explicación para el público objetivo Diseñar y adaptar la naturaleza y el nivel de detalle de las explicaciones para satisfacer las necesidades informativas de las distintas partes interesadas (usuarios finales, auditores, personal de cumplimiento normativo). Dada la limitación en el alcance de la explicación inherente a la inaccesibilidad de los datos, la claridad y la relevancia contextual de las justificaciones son críticas para maximizar la confianza y la utilidad. 3. Prioridad Media: Monitoreo y validación continua de la explicabilidad Establecer un sistema de monitoreo continuo para evaluar la precisión, la estabilidad y la coherencia de las explicaciones generadas a lo largo del tiempo. Esta supervisión es esencial para detectar cualquier desviación (drift) en el comportamiento del modelo que pudiera comprometer la exactitud de las justificaciones y para auditar periódicamente el éxito de las acciones de mitigación implementadas.