Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Redes de IA opacas

La inherente complejidad de los modelos y sistemas de Inteligencia Artificial (IA), a menudo denominada "opacidad de caja negra", compromete nuestra capacidad para predecir, interpretar y gobernar de manera efectiva su comportamiento en entornos operativos.

Fuente: MIT AI Risk Repositorymit959

ENTIDAD

3 - Otro

INTENCIÓN

3 - Otro

TIEMPO

2 - Post-despliegue

ID del riesgo

mit959

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Implementar Marcos de Inteligencia Artificial Explicable (XAI) Integrar metodologías como SHAP o LIME, o utilizar modelos intrínsecamente interpretables, para generar justificaciones claras y precisas de las decisiones de los sistemas de IA opacos. Esto es crucial para la validación del razonamiento del modelo, el diagnóstico de sesgos inherentes y la construcción de la confianza de los *stakeholders* al proporcionar una *explicación* de la lógica interna. 2. Establecer un Marco de Gobernanza y Trazabilidad Exhaustivo Definir políticas organizacionales que exijan la documentación completa del ciclo de vida del modelo y la creación de pistas de auditoría robustas (*audit trails*). Esto incluye la asignación de responsabilidades claras (*accountability*) y la garantía de que el sistema de IA sea auditable por entidades internas o reguladoras, mitigando los riesgos legales y de cumplimiento derivados de la "caja negra". 3. Ejecutar Pruebas de Resiliencia y Monitoreo Post-Despliegue Realizar pruebas de estrés periódicas y *red teaming* para evaluar el comportamiento del modelo bajo condiciones extremas y entradas adversariales. Complementariamente, implementar herramientas de monitoreo continuo para detectar desviaciones en el comportamiento (*model drift*), anomalías operacionales y *shortcut learning* que puedan surgir en el entorno operativo real.