Mal uso de sistemas IA para crear armas
El riesgo aquí reside en la posible instrumentalización de los sistemas de inteligencia artificial para fines hostiles. Esto se bifurca en dos escenarios principales: primero, la asistencia en la fabricación de armas de destrucción masiva, específicamente de tipo químico, biológico, radiológico o nuclear (QBRN); y segundo, la mejora de armamento ya existente, por ejemplo, dotando de autonomía avanzada a sistemas no tripulados. Aunque los modelos actuales aún no representan una herramienta altamente eficaz para actores maliciosos en estas tareas, sí manifiestan indicadores iniciales de este potencial. La gestión de este riesgo suele involucrar el filtrado riguroso de entradas y salidas del sistema; sin embargo, esta defensa es inherentemente vulnerable a técnicas adversariales sofisticadas, como el 'jailbreaking' o la reformulación (*paraphrasing*), diseñando instrucciones que evadan las barreras de seguridad.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1071
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Establecimiento de un Marco Regulatorio Internacional con Control Humano Irreversible: Priorizar la negociación de un instrumento jurídicamente vinculante a nivel global para establecer prohibiciones y restricciones claras sobre los Sistemas de Armas Autónomos Letales (SAAL). Este marco debe garantizar que el control humano permanezca ineludible en las decisiones críticas de vida o muerte y en la aplicación de la fuerza, impidiendo la delegación de la discreción ética y legal a algoritmos completamente autónomos. 2. Implementación de Defensas Técnicas Adversariales Robustas (Guardrails): Desarrollar e implementar "barreras de seguridad" (guardrails) de IA con capacidad de autoaprendizaje y adaptación en tiempo real, enfocadas específicamente en neutralizar técnicas adversariales sofisticadas como el *jailbreaking* y el *paraphrasing*. Estas defensas deben incluir el filtrado riguroso de entradas y salidas para prevenir la instigación y generación de contenido que asista en el desarrollo o uso de armas de destrucción masiva (QBRN) o capacite sistemas hostiles. 3. Refuerzo de la Ciberseguridad y la Resiliencia de los Sistemas de IA Militar: Fortalecer la ciberseguridad mediante la implementación de protocolos de encriptación avanzados y el uso de la propia inteligencia artificial para detectar y responder a amenazas en tiempo real. Es vital que los sistemas de IA sean diseñados con resiliencia inherente para mitigar los efectos de ataques de manipulación y continuar operando bajo contingencia, asegurando la capacidad de intervención y control humano.