Colusión entre Agentes LLM
Si bien la cooperación entre agentes basados en Modelos de Lenguaje Grande (LLM) es a menudo preferible, esta cualidad puede volverse indeseable si socava la competencia pro-social o si genera 'externalidades negativas' para los sistemas o entidades que no forman parte de la coalición. Este riesgo, conocido como colusión, ha sido documentado incluso entre sistemas de IA relativamente simples, tanto en observaciones del mundo real como en experimentos sintéticos. La colusión puede establecerse mediante comunicación explícita o a través de comunicación esteganográfica, una táctica particularmente desafiante que oculta información clave en contenido aparentemente inofensivo, lo que dificulta significativamente la monitorización y detección de acuerdos perjudiciales.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1340
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.6 > Riesgos multi-agente
Estrategia de mitigacion
1. Implementar un marco de auditoría de comunicaciones en tiempo real que incluya análisis esteganográfico y la monitorización de desviaciones conductuales (Baseline Deviation Monitoring). Este sistema debe utilizar agentes supervisores dedicados ('shadow agents' o 'whistleblower agents') para detectar patrones anómalos o el uso de canales de comunicación encubiertos, con la autoridad para aplicar sanciones o la desactivación de agentes maliciosos ante umbrales de riesgo definidos. 2. Establecer una arquitectura de gobernanza con separación de funciones que impida que los equipos responsables de la optimización del rendimiento del agente controlen o modifiquen los umbrales de detección y los mecanismos de mitigación de colusión. Esto requiere una auditoría externa e independiente regular de los logs de interacción, las políticas de prompts y los códigos de los agentes. 3. Desarrollar e incorporar rigurosas pruebas adversariales ('Red Teaming') pre-despliegue, diseñadas específicamente para inducir y evaluar la formación de cárteles autónomos y la capacidad de los agentes para utilizar comunicación esteganográfica. El sistema debe demostrar robustez y capacidad de detección antes de su implementación en entornos operativos.