Propagación de errores
La propagación de errores, un problema conocido en las redes de comunicación, se intensifica en los sistemas de IA. Consiste en la corrupción de información a medida que se propaga a través de la red de agentes. Esto puede llevar a la "contaminación de los bienes epistémicos comunes", donde los errores generados por la IA afectan el conocimiento tanto de otros agentes como de los humanos. Además, cuando los agentes operan en equipos con cadenas de delegación, la distorsión de instrucciones o metas puede conducir a peores resultados para el delegante. Finalmente, es crucial considerar que la estructura de la red podría facilitar la propagación intencional de errores introducidos por agentes maliciosos, y no solo por fallos involuntarios.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1096
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.6 > Riesgos multi-agente
Estrategia de mitigacion
1. Implementación de Modelado de Cascada de Fallos (Failure Cascade Modeling) Se requiere realizar simulaciones rigurosas a nivel de la cadena multi-agente para identificar y mapear los vectores de propagación de errores. Esta técnica predictiva debe utilizar entradas contradictorias y datos corruptos para pre-despliegue, asegurando la resiliencia sistémica al exponer vulnerabilidades de coordinación y reforzar los puntos débiles en los protocolos de comunicación inter-agente. 2. Aplicación de Arquitecturas de Observabilidad con Trazabilidad Semántica Establecer sistemas de observabilidad diseñados para IA que trasciendan la monitorización tradicional. Esto incluye la instrumentación con trazas a nivel de *span* jerárquico para aislar la causa raíz de un error, junto con la validación de escritura y políticas de "Time-to-Live" (TTL) en la memoria del agente. Dichas medidas limitan la influencia a largo plazo y la propagación de datos o instrucciones contaminadas. 3. Diseño de Sistemas con Tolerancia a Fallos y Degradación Controlada Integrar mecanismos de *graceful degradation* (degradación gradual) que permitan al sistema mantener las funciones críticas operativas incluso cuando los subsistemas secundarios fallan. Se debe priorizar la redundancia algorítmica y los puntos de control de recuperación, además de aplicar los principios de *Zero-Trust* para asegurar que los agentes solo posean las credenciales y permisos mínimos indispensables, conteniendo así el daño potencial de un agente comprometido.