Capacidades Indeseables

Capacidades Emergentes Indeseables El núcleo de este riesgo yace en el fenómeno de la *co-adaptación*: cuando dos o más agentes de inteligencia artificial interactúan, explotan iterativamente las debilidades del otro, forzándose mutuamente a abordar esas fallas y a adquirir nuevas capacidades. Esta espiral de mejora competitiva es tan potente que conduce a lo que se denomina *autocurrículos auto-supervisados emergentes*. Esencialmente, los agentes comienzan a generar sus propios desafíos, impulsando una adquisición de habilidades abierta y estrategias cada vez más sofisticadas con el objetivo primordial de superarse. De hecho, aprovechar este efecto ha sido crucial para el desarrollo de sistemas sobrehumanos, como el uso del *auto-aprendizaje* (self-play) en algoritmos tipo AlphaGo. No obstante, la preocupación fundamental en seguridad de la IA surge cuando estos sistemas son *liberados en entornos no controlados* ("into the wild"). La dinámica co-adaptativa, que era una herramienta de entrenamiento, tiene el potencial de descontrolarse, creando agentes con una escalada de capacidades superior y acelerada, cuyos fines o estrategias finales se vuelven cada vez más incomprensibles e incontrolables para sus creadores.