Catastrophic risk due to autonomous weapons programmed with dangerous targets
La inteligencia artificial (IA) posee la capacidad de instrumentalizar vehículos autónomos, como los drones, para que operen como sistemas de armamento. Es crucial señalar que esta clase de amenazas estratégicas, derivadas de la autonomía bélica, tiende a ser sistemáticamente subestimada en los análisis de riesgo.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit592
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Establecer la obligatoriedad, mediante directrices vinculantes, de un "control humano significativo" o un "juicio humano apropiado" sobre las funciones críticas de selección y ataque de objetivos en todos los Sistemas de Armas Autónomos (SAA). Esto es fundamental para garantizar la observancia de los principios de distinción y proporcionalidad del Derecho Internacional Humanitario (DIH) y mantener una cadena de mando responsable. 2. Prohibir el desarrollo y despliegue de SAA intrínsecamente "impredecibles", particularmente aquellos que emplean modelos de aprendizaje automático sin transparencia suficiente o que modifican dinámicamente sus criterios de objetivo durante el despliegue. Asimismo, restringir los sistemas actualmente en uso a objetivos militares bien definidos (armas, vehículos blindados) dentro de estrictos parámetros geográficos y temporales (kill boxes) para mitigar el riesgo de daño masivo a civiles. 3. Iniciar o acelerar las negociaciones multilaterales para un nuevo instrumento jurídicamente vinculante que regule o prohíba los SAA a nivel internacional. Este esfuerzo debe enfocarse en establecer normas comunes de interoperabilidad, directrices éticas y un marco de rendición de cuentas claro para frenar la carrera armamentística y limitar la proliferación tecnológica a actores maliciosos o no estatales.