Capacidad de colaboración multi-agente
Este concepto describe la aparición de redes de decisión descentralizadas compuestas por múltiples agentes de inteligencia artificial autónomos. Estos agentes son capaces de establecer relaciones de colaboración, bien sea mediante comunicación explícita o a través de una coherencia implícita en su comportamiento. La meta es la ejecución conjunta de tareas de gran complejidad y el logro de objetivos que superarían la capacidad individual de un solo agente. Un atributo fundamental es su habilidad para reconfigurar dinámicamente sus divisiones de roles, permitiendo una adaptación eficiente y robusta a entornos cambiantes.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1325
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.6 > Riesgos multi-agente
Estrategia de mitigacion
- Implementación de Monitoreo y Sistemas de Intervención Activa Establecer la monitorización continua y en tiempo real de las comunicaciones, los estados internos y las predicciones de acción de los agentes. Esto debe complementarse con mecanismos de intervención automatizados para aislar o revertir el estado de cualquier agente que presente un comportamiento anómalo o que exceda un umbral predefinido de riesgo de fallo sistémico. - Aplicación del Principio de Mínimo Privilegio (RBAC) Definir roles funcionales altamente especializados para cada agente, restringiendo rigurosamente sus permisos (acceso a datos, herramientas y APIs) únicamente a aquellos requeridos para la ejecución de sus tareas específicas. Esta encapsulación de responsabilidades mitiga el impacto de un agente comprometido, previniendo la escalada de privilegios y las reacciones en cadena. - Protocolos de Validación y Pruebas Adversariales Instituir protocolos rigurosos de validación y sanitización para toda la información compartida a través del canal de comunicación inter-agente. De forma periódica, ejecutar ejercicios de Red Teaming y simulación de fallos ("Chaos Engineering") para evaluar la resiliencia del sistema ante comportamientos emergentes no deseados y la corrupción infecciosa de información.