Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Efectos de Red

Efectos de Red (Sección 3.2). Este concepto describe el fenómeno por el cual variaciones mínimas en las propiedades intrínsecas o en los patrones de conexión de los agentes individuales dentro de una red son suficientes para provocar cambios drásticos y no lineales en el comportamiento colectivo, alterando profundamente la dinámica del grupo en su totalidad.

Fuente: MIT AI Risk Repositorymit1095

ENTIDAD

2 - IA

INTENCIÓN

3 - Otro

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1095

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Análisis de Funciones Críticas y Dependencias Sistémicas: Implementar metodologías de Análisis de Funciones Críticas (CFA) para mapear exhaustivamente las interdependencias y flujos de trabajo entre agentes, servicios y sistemas externos. Esto facilita la identificación de nodos cuya falla podría desestabilizar el comportamiento colectivo, permitiendo diseñar mecanismos de resiliencia y planes de mitigación dirigidos a chokepoints sistémicos. 2. Aplicación de Principios de Mínimo Privilegio y Aislamiento de Agentes: En el diseño del sistema multi-agente, otorgar a cada agente únicamente el nivel mínimo de acceso y permisos requerido para sus tareas (principio de mínimo privilegio). Complementariamente, establecer fronteras de seguridad (segmentación) entre grupos de agentes o sistemas para contener la propagación de errores o acciones maliciosas, limitando el efecto dominó dentro de la red. 3. Monitoreo Comportamental y Auditoría Inmutable Continua: Establecer perfiles de comportamiento de referencia para los agentes y emplear sistemas de detección de anomalías para identificar desviaciones en tiempo real. Mantener un registro de auditoría inmutable de todas las acciones, decisiones y comunicaciones inter-agente. Este monitoreo es esencial para detectar variaciones mínimas que podrían amplificarse de forma no lineal y para realizar análisis forenses precisos post-incidente.