Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Cambio Distribucional

El Desplazamiento Distribucional. Este fenómeno describe la caída en el rendimiento de los sistemas de Aprendizaje Automático (ML) cuando se despliegan en contextos que difieren sustancialmente de sus datos de entrenamiento originales. Una de las fuentes más críticas de estos desplazamientos es la dinámica de las acciones y adaptaciones estratégicas de otros agentes. La complejidad aumenta exponencialmente en los sistemas multiagente: la mera cantidad y la variabilidad de las conductas exhibidas por otros participantes representan un desafío de generalización excepcional para los aprendices individuales. Aunque las variaciones distribucionales causan problemas en entornos de interés común, son particularmente alarmantes en configuraciones de motivación mixta. En estos casos, la cooperación exitosa no solo exige coordinar una convención, sino que depende de las *creencias* del agente sobre qué soluciones estratégicas serán consideradas aceptables por los demás participantes.

Fuente: MIT AI Risk Repositorymit1108

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1108

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Prioridad Alta: Regularización de Manifold y Recalibración Aplicar la regularización del espacio tangente (*Tangent-space regularization*) para contener la dinámica de distribución suave dentro del manifold de datos de entrenamiento y emplear la recalibración adaptativa por subrogación (*Surrogate-Adaptive Calibration - SAC*) para restaurar la confiabilidad del modelo y reducir la degradación del rendimiento después del despliegue. 2. Prioridad Media: Gestión de Riesgos en Sistemas Multi-Agente Implementar marcos de aprendizaje por refuerzo multi-agente sensibles al riesgo (*Disentangled Risk-sensitive Multi-Agent Reinforcement Learning - DRIMA*) con el fin de separar y controlar la sensibilidad del riesgo frente a la incertidumbre cooperativa (acciones estocásticas de otros agentes) y la incertidumbre ambiental, mejorando la robustez en la coordinación. 3. Prioridad Baja: Limitación de Exposición Estratégica En entornos de motivación mixta o adversarios, imponer la restricción de estrategias mixtas diversificadas (e.g., $\\epsilon$-diversificadas) a los agentes para limitar la exposición a eventos catastróficos y garantizar un mejor desempeño en casos típicos, lo cual contribuye a la previsibilidad y aceptación mutua de soluciones.