Transparencia y explicabilidad
La preocupación fundamental de los participantes se centra en la opacidad intrínseca de los sistemas de Inteligencia Artificial, es decir, la ausencia de conocimiento sobre los procesos que sustentan sus decisiones. Se subraya la necesidad crítica de dotar a la IA de mayor visibilidad y explicabilidad para edificar la confianza del usuario en sus resultados y establecer mecanismos efectivos de rendición de cuentas. Esta dificultad para dilucidar la lógica interna de los algoritmos (el problema de la "caja negra") exacerba las preocupaciones éticas, siembra la sospecha y la reticencia en la adopción tecnológica, e impide la asignación clara de responsabilidades ante posibles fallos o sesgos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit556
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Priorizar la implementación de la Inteligencia Artificial Explicable XAI Integrar desde la fase de diseño algoritmos intrínsecamente interpretables o aplicar técnicas post-hoc (como LIME o SHAP) para asegurar que los resultados sean rastreables, auditables y comprensibles por expertos técnicos, lo cual es fundamental para la identificación y mitigación de sesgos o fallos. 2. Establecimiento de marcos de transparencia y gobernanza algorítmica Adoptar procesos formales de gestión de riesgos y de documentación (como las Model Cards) que cumplan con las exigencias normativas vigentes (e.g., Ley de IA de la UE, RGPD), obligando a la divulgación sistemática de información sobre el entrenamiento, propósito y comportamiento del modelo. 3. Capacitación y divulgación efectiva de la información Educar a los usuarios y partes interesadas sobre las capacidades, limitaciones y lógica de funcionamiento de los sistemas de IA, proporcionando explicaciones de las decisiones que sean claras, significativas y adaptadas al nivel de comprensión de los destinatarios para fomentar la confianza y el uso responsable.