Seguridad (Safety)

Una preocupación central radica en la emergencia de modelos generativos con capacidades a nivel humano o sobrehumanas, a menudo denominados IAG (Inteligencia Artificial General), y sus riesgos potenciales, tanto existenciales como catastróficos, para la humanidad. En estrecha conexión, la seguridad de la IA (*AI safety*) se enfoca en prevenir comportamientos engañosos o de búsqueda de poder por parte de las máquinas, así como la autorreplicación o la evasión de comandos de apagado. Para mitigar estos riesgos, se considera fundamental asegurar la *controlabilidad*, la *supervisión humana* y la implementación de medidas de *red teaming* (pruebas de seguridad rigurosas). Es igualmente crucial incrementar la investigación en seguridad de la IA y fomentar culturas de seguridad sólidas en las organizaciones, priorizando esto sobre la simple aceleración de la carrera de la IA. Adicionalmente, la literatura aborda los riesgos derivados de capacidades emergentes e imprevistas en los modelos generativos, la necesidad de restringir el acceso a investigaciones peligrosas o, incluso, la posibilidad de pausar el desarrollo de la IA para establecer primero medidas robustas de seguridad y gobernanza. Otro eje de preocupación es el temor a la *weaponización* de la IA o su uso como herramienta de destrucción masiva, especialmente en el contexto de los LLMs (Grandes Modelos de Lenguaje) para la ideación y planificación de la adquisición, modificación y diseminación de agentes biológicos. En términos generales, la amenaza del uso indebido de la IA por parte de individuos o grupos maliciosos, particularmente con modelos de código abierto, se destaca como un factor significativo que subraya la importancia crítica de implementar mecanismos de seguridad robustos.