Los LLMs Agénticos Plantean Nuevos Riesgos

Actualmente, la utilización de los Modelos de Lenguaje Grande (LLMs) se centra en roles reactivos como las aplicaciones de búsqueda y chat. Esta naturaleza inherentemente pasiva ayuda a mitigar parte de los riesgos. No obstante, un LLM puede ser transformado en lo que se conoce como un 'Agente LLM': un sistema con la capacidad de planificar y actuar de forma autónoma en el mundo real, llevando a cabo sus tareas de manera proactiva (Ruan et al., 2023). Las mejoras que permiten esta autonomía son diversas e incluyen: entrenamiento especializado adicional (ARC, 2022), técnicas de *prompting* avanzado (Huang et al., 2022a), la integración de acceso a herramientas externas (Ahn et al., 2022), u otras metodologías de 'andamiaje' o *scaffolding* (Wang et al., 2023a). La preocupación fundamental radica en que, debido a esta mayor autonomía, la limitada supervisión directa por parte de usuarios humanos y la extensión de sus horizontes de acción, los Agentes LLM son propensos a generar una serie de desafíos de alineación y seguridad que, en la actualidad, no se comprenden bien y son inherentemente novedosos (Chan et al., 2023a).