Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Riesgos de modelos (Explicabilidad)

Los algoritmos de Inteligencia Artificial, particularmente los de aprendizaje profundo, presentan una arquitectura interna sumamente compleja. Su proceso de inferencia, a menudo denominado de "caja negra" o "caja gris", produce resultados que son inherentemente impredecibles y carentes de una trazabilidad clara. Este opacidad plantea un desafío crítico: la dificultad para rectificar fallos con celeridad o para identificar el origen de las anomalías, obstaculizando la capacidad de establecer una rendición de cuentas inequívoca.

Fuente: MIT AI Risk Repositorymit642

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit642

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Priorizar la adopción e implementación rigurosa de técnicas de Inteligencia Artificial Explicable (XAI). Esto implica la selección estratégica de modelos intrínsecamente interpretables o la aplicación de métodos post-hoc avanzados, como LIME o SHAP, para dilucidar la contribución de variables y la lógica decisional en modelos de aprendizaje profundo, transformando la opacidad de la "caja negra" en explicaciones justificables. 2. Instituir un protocolo de gobernanza y trazabilidad que exija la documentación exhaustiva del ciclo de vida del modelo. Este registro debe incluir la procedencia de los datos, la arquitectura algorítmica y los parámetros de entrenamiento, estableciendo una cadena de custodia clara. Dicha trazabilidad es fundamental para la rendición de cuentas inequívoca y la rectificación expedita de cualquier resultado anómalo. 3. Desarrollar interfaces de visualización y programas de capacitación especializados para los usuarios y responsables de la toma de decisiones. El objetivo es traducir la explicabilidad técnica del modelo en conocimiento comprensible, fomentando una "confianza adecuada" en el sistema y capacitando al personal para interpretar, validar o impugnar los resultados del sistema de IA con base en el razonamiento proporcionado.