Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Asignación de Crédito

El concepto central es la Asignación de Crédito (Credit Assignment). En sistemas multiagente, donde múltiples inteligencias artificiales operan simultáneamente, el proceso de aprendizaje individual se vuelve inherentemente más complejo. El desafío radica en la dificultad para determinar con claridad qué agente o qué acción específica condujo a un resultado positivo o negativo dentro del entorno compartido, especialmente cuando este es dinámico o intrincado. Esta ambigüedad en la atribución de la causalidad (o "crédito") ralentiza la optimización del comportamiento de cada agente. Esta problemática se agrava en escenarios con múltiples 'principales' (multi-principal settings), donde los agentes pueden no haber sido entrenados de manera conjunta. Por lo tanto, se les exige una capacidad crítica de generalización: deben poder extrapolar su experiencia previa para coordinar y colaborar de forma efectiva con nuevos compañeros cuya dinámica no conocen.

Fuente: MIT AI Risk Repositorymit1083

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1083

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Implementar Arquitecturas de Descomposición de Valor (Value Decomposition Architectures), como QMIX o métodos análogos, que empleen una red crítica centralizada para aprender la contribución marginal de cada agente, permitiendo la división de la recompensa global total en utilidades individuales que guíen el comportamiento descentralizado. 2. Adoptar Modelos Jerárquicos de Asignación de Crédito (Hierarchical Credit Assignment) que operen en múltiples niveles, con un nivel superior enfocado en planes a largo plazo y niveles inferiores en acciones primitivas. Esto facilita la atribución de responsabilidad (crédito) a las decisiones estratégicas de alta jerarquía. 3. Desarrollar o aplicar Marcos de Asignación Asíncrona (Asynchronous Credit Assignment), como el uso de Virtual Synchrony Proxy (VSP) o la Descomposición Multiplicativa de Valor (MVD), para gestionar la toma de decisiones no simultánea y la interacción compleja entre agentes en entornos dinámicos y en tiempo real.