Brecha de conocimiento inducida por complejidad
La complejidad intrínseca y la opacidad de los modelos y sistemas de inteligencia artificial (IA) representan un desafío sustancial para la rendición de cuentas, ya que dificultan enormemente tanto la demostración precisa de un daño como el establecimiento de un nexo causal directo y claro entre una acción específica de la IA y sus consecuencias observadas.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit938
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Implementar Técnicas de Explicabilidad (XAI) y Transparencia Radical Desarrollar e integrar metodologías de Inteligencia Artificial Explicable (XAI) para revelar los mecanismos internos de los modelos complejos, permitiendo la justificación funcional de sus resultados y decisiones. Es prioritario que los sistemas ofrezcan trazabilidad completa (logging y documentación) del ciclo de vida del modelo y sus datos, facilitando la comprensión y el análisis causal de las acciones del sistema ante las partes interesadas y los órganos reguladores. 2. Establecer Marcos de Gobernanza y Rendición de Cuentas (Accountability) Rigurosos Definir y aplicar estructuras organizacionales claras (comités de gobernanza) y políticas formales que asignen la responsabilidad sobre el diseño, despliegue y monitoreo de los sistemas de IA. Esta medida es esencial para establecer un nexo causal entre las acciones de la IA y sus consecuencias, asegurando que se cumplan los requisitos legales y éticos relativos a la demostración de daño y mitigación. 3. Integrar la Monitorización Continua y la Auditoría Adaptativa en Tiempo Real Desplegar sistemas de monitoreo persistente para rastrear en tiempo real el rendimiento del modelo, la calidad de los datos, la detección de sesgos y las vulnerabilidades de seguridad. La realización de auditorías periódicas y continuas, específicas para los sistemas de IA, es fundamental para verificar la persistencia de las propiedades de seguridad, equidad y funcionamiento esperado, compensando la complejidad y la naturaleza evolutiva de los modelos.