Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Brecha de conocimiento inducida por complejidad

La complejidad intrínseca y la opacidad de los modelos y sistemas de inteligencia artificial (IA) representan un desafío sustancial para la rendición de cuentas, ya que dificultan enormemente tanto la demostración precisa de un daño como el establecimiento de un nexo causal directo y claro entre una acción específica de la IA y sus consecuencias observadas.

Fuente: MIT AI Risk Repositorymit938

ENTIDAD

3 - Otro

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit938

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Implementar Técnicas de Explicabilidad (XAI) y Transparencia Radical Desarrollar e integrar metodologías de Inteligencia Artificial Explicable (XAI) para revelar los mecanismos internos de los modelos complejos, permitiendo la justificación funcional de sus resultados y decisiones. Es prioritario que los sistemas ofrezcan trazabilidad completa (logging y documentación) del ciclo de vida del modelo y sus datos, facilitando la comprensión y el análisis causal de las acciones del sistema ante las partes interesadas y los órganos reguladores. 2. Establecer Marcos de Gobernanza y Rendición de Cuentas (Accountability) Rigurosos Definir y aplicar estructuras organizacionales claras (comités de gobernanza) y políticas formales que asignen la responsabilidad sobre el diseño, despliegue y monitoreo de los sistemas de IA. Esta medida es esencial para establecer un nexo causal entre las acciones de la IA y sus consecuencias, asegurando que se cumplan los requisitos legales y éticos relativos a la demostración de daño y mitigación. 3. Integrar la Monitorización Continua y la Auditoría Adaptativa en Tiempo Real Desplegar sistemas de monitoreo persistente para rastrear en tiempo real el rendimiento del modelo, la calidad de los datos, la detección de sesgos y las vulnerabilidades de seguridad. La realización de auditorías periódicas y continuas, específicas para los sistemas de IA, es fundamental para verificar la persistencia de las propiedades de seguridad, equidad y funcionamiento esperado, compensando la complejidad y la naturaleza evolutiva de los modelos.