Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Seguridad Multi-Agente

Seguridad Multi-Agente (Sección 3.7): La naturaleza interconectada de los sistemas compuestos por múltiples agentes de inteligencia artificial introduce dinámicas complejas que dan origen a categorías inéditas de amenazas y vulnerabilidades de seguridad, exigiendo un replanteamiento de los protocolos de defensa tradicionales.

Fuente: MIT AI Risk Repositorymit1116

ENTIDAD

3 - Otro

INTENCIÓN

3 - Otro

TIEMPO

3 - Otro

ID del riesgo

mit1116

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Adoptar un modelo de seguridad de privilegios mínimos y control de ejecución granular para todos los agentes, exigiendo la validación human-in-the-loop en flujos de trabajo de alto riesgo (ej. manipulación de datos sensibles o transacciones externas), lo cual limita el potencial de daño autónomo. 2. Implementar estrategias robustas de aislamiento por misión (sandboxing) y segmentación de interfaces entre agentes para contener la propagación lateral de una brecha de seguridad. Esto debe complementarse con la auditoría continua y la observabilidad de las decisiones y comunicaciones internas del sistema multi-agente. 3. Realizar pruebas de seguridad avanzadas (red teaming) que simulen ataques contextuales y vulnerabilidades de inferencia (como la inyección de instrucciones y la manipulación adversaria de herramientas), asegurando que los límites de capacidad de los agentes se apliquen de forma dinámica y pertinente al contexto de la tarea.