Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Interacciones Limitadas

Interacciones Limitadas: El Riesgo de la Coordinación Imposible. Este vector de riesgo se materializa cuando los agentes de inteligencia artificial no pueden acceder o solo disponen de un historial muy limitado de interacciones pasadas relevantes. Para alcanzar una coordinación de acciones confiable, se vuelve esencial un mecanismo alternativo de intercambio de información, como la comunicación explícita o el uso de un dispositivo de correlación (Aumann). Si bien la evolución de los modelos de lenguaje está mitigando el riesgo de descoordinación derivado de la incapacidad comunicativa de las IA avanzadas, el problema persiste en entornos críticos. Específicamente, en situaciones que demandan decisiones inmediatas (de "split-second") o donde el coste de la comunicación es excesivo, se abren brechas. En estos casos, el sistema debe resolver el desafío fundamental de la coordinación "zero-shot" (de cero intento) o "few-shot" (de pocos intentos): lograr la acción conjunta exitosa con experiencia nula o mínima.

Fuente: MIT AI Risk Repositorymit1084

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1084

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Priorizar la implementación de paradigmas avanzados de entrenamiento multi-agente, como la Cooperación a Través de Entornos (CEC), para inducir el desarrollo de "normas generales" de colaboración. Esto optimiza la capacidad de los agentes de alcanzar la coordinación en escenarios de "zero-shot" o "few-shot" al interactuar con socios nuevos y no perfilados 2. Establecer y refinar protocolos de comunicación explícita, o integrar dispositivos de correlación (Aumann), para asegurar un intercambio de información fiable y de bajo coste computacional en situaciones que demandan decisiones inmediatas (split-second) o donde la comunicación es inherentemente costosa 3. Integrar un marco de gobernanza y metodologías de modelado de riesgos multi-agente (e.g., MAESTRO) para establecer límites estructurales, realizar simulaciones de fallos en la coordinación y garantizar el monitoreo continuo de las interacciones, detectando y mitigando la propagación de errores sistémicos derivados de interacciones limitadas