Caos
Caos. A diferencia de los sistemas que tienden hacia puntos fijos o ciclos descritos anteriormente, los sistemas caóticos son intrínsecamente impredecibles y extremadamente sensibles a las condiciones iniciales. Si bien podría ser sencillo descartar tales nociones como meros 'exotismos matemáticos', trabajos recientes han demostrado que, de hecho, las dinámicas caóticas no solo son posibles en una amplia gama de configuraciones de aprendizaje multi-agente (Andrade et al., 2021; Galla & Farmer, 2013; Palaiopanos et al., 2017; Sato et al., 2002; Vlatakis-Gkaragkounis et al., 2023), sino que pueden volverse la norma a medida que el número de agentes aumenta (Bielawski et al., 2021; Cheung & Piliouras, 2020; Sanders et al., 2018). Según nuestro conocimiento actual, tales dinámicas no se han observado en los sistemas de IA de frontera contemporáneos, pero la proliferación de dichos sistemas incrementa la importancia de predecir su comportamiento de manera confiable.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit1106
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.6 > Riesgos multi-agente
Estrategia de mitigacion
1. Diseño de Gobernanza Agéntica Restrictiva y Dinámica: Implementar un marco de gobernanza formal que defina límites estrictos para la autonomía de los agentes y que aplique dinámicamente políticas de cumplimiento. El objetivo primordial es prevenir la emergencia de dinámicas caóticas mediante la restricción de comportamientos no alineados con los objetivos globales del sistema multiagente, garantizando así la trazabilidad y la previsibilidad. 2. Monitoreo Continuo y Validación Adversaria (Red Teaming): Establecer mecanismos de monitoreo en tiempo real para la detección de indicadores de inestabilidad o sensibilidad extrema a las condiciones iniciales. Este monitoreo debe complementarse con ejercicios de *Red Teaming* para simular escenarios de perturbación y evaluar la resiliencia del sistema, asegurando que las capacidades de auto-corrección autónoma se mantengan dentro de parámetros preaprobados. 3. Integración de Mecanismos 'Human-in-the-Loop' y Resiliencia Arquitectónica: Desarrollar la arquitectura del sistema multiagente con un enfoque en la robustez (como el conocimiento y control distribuidos para evitar puntos únicos de fallo). Además, incorporar un sistema explícito de Intervención Humana (*Human-in-the-Loop* - HITL) para que los casos críticos de deriva hacia el caos puedan ser escalados a supervisión humana, permitiendo la mitigación y la restauración de la estabilidad del sistema.