Opacidad (problema de la caja negra)
El problema de la «caja negra» hace referencia a la opacidad que envuelve los procesos técnicos internos de toma de decisiones en los modelos de IA generativa. Estos sistemas, que se basan en redes neuronales profundas con cientos de miles de millones de conexiones internas, han adquirido tal complejidad que sus procesos de decisión no son rastreables ni interpretables, ni siquiera por los observadores expertos más avanzados. Esto implica que, si bien es posible observar los datos de entrada y los resultados (salidas) del sistema, sus desarrolladores no pueden explicar con detalle por qué una entrada específica corresponde a una salida concreta.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit680
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Implementación de la IA Explicable (XAI) y Transparencia Algorítmica Desarrollar y aplicar metodologías de Inteligencia Artificial Explicable (XAI), como los métodos *post-hoc* (p. ej., SHAP, LIME) o el uso de modelos intrínsecamente interpretables, para dilucidar la lógica interna del sistema. Esto permite a los expertos trazar la correlación entre las entradas y las salidas, abordando directamente el desafío de la opacidad en el proceso de toma de decisiones. 2. Establecimiento de Marcos Rigurosos de Auditoría Continua y Documentación Implementar sistemas integrales de registro (*audit trails*) y monitoreo constante para capturar los *inputs*, la lógica del proceso y los resultados en tiempo real, garantizando la trazabilidad. Complementariamente, formalizar la documentación mediante el uso de "Fichas de Modelo" (*Model Cards*) para estandarizar la información sobre el diseño, los datos de entrenamiento y las limitaciones del sistema, promoviendo la rendición de cuentas. 3. Integración de la Supervisión y Validación Humana (Human-in-the-Loop) Incorporar un enfoque de "humano en el circuito" (*Human-in-the-Loop*) donde el juicio experto y la supervisión humana revisen y validen las decisiones críticas generadas por la IA. Esto asegura la validación contextual de los resultados, ayuda a identificar fallas inexplicables o sesgos latentes y mantiene la responsabilidad ética y legal en decisiones de alto impacto.