Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Adquisición de armas

Este concepto aborda la preocupación fundamental de que los modelos de inteligencia artificial sean instrumentalizados o contribuyan directamente a la proliferación y escalada de armamento. Específicamente, esta amenaza se manifiesta de dos maneras cruciales: Primero, la IA podría obtener control o acceder a sistemas de armas preexistentes. Segundo, y quizás más disruptivo, serviría como herramienta clave en la fabricación de armamento completamente nuevo. Esto incluye, por ejemplo, la capacidad de la IA para generar instrucciones precisas y ejecutables para el ensamblaje de armas biológicas (incluso cuando se requiere cierta asistencia humana). A un nivel más profundo, el modelo podría acelerar significativamente la investigación y los descubrimientos científicos fundamentales que, por su naturaleza inherente, desbloqueen o permitan el desarrollo de armas de destrucción o disuasión radicalmente novedosas.

Fuente: MIT AI Risk Repositorymit409

ENTIDAD

2 - IA

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit409

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.2 > IA con capacidades peligrosas

Estrategia de mitigacion

1. Mantener el Control Humano Significativo y la Responsabilidad Inequívoca Garantizar legal y técnicamente que la toma de decisiones críticas sobre el uso de la fuerza o el despliegue de armamento mantenga un control humano significativo y la responsabilidad moral y jurídica ineludible, en estricto cumplimiento con el Derecho Internacional Humanitario. 2. Implementar Evaluaciones de Límites Rigurosas y Control de Acceso Establecer y ejecutar evaluaciones de límite (*limit evaluations*) exhaustivas para identificar y restringir la capacidad de los modelos de IA de última generación para acelerar el descubrimiento de vulnerabilidades cibernéticas de alto valor o para asistir en la investigación y desarrollo de nuevas armas. Esto debe complementarse con mecanismos de acceso seguro que restrinjan los modelos más potentes a un grupo limitado de investigadores e ingenieros de confianza. 3. Establecer un Marco de Pruebas Independiente y Gestión del Ciclo de Vida Exigir un proceso de pruebas operativas y de desarrollo independiente y diferenciado para todas las armas asistidas por IA, asegurando la trazabilidad, la garantía del rendimiento y la detección de modos de fallo imprevistos a lo largo de todo el ciclo de vida del sistema de IA.

EVIDENCIA ADICIONAL

Una gran parte de las capacidades enumeradas se clasifican como ofensivas: son instrumentales para ejercer influencia indebida o para socavar la seguridad. Algunos ejemplos notables de ello son la persuasión y la manipulación, la ciberofensa y la adquisición de sistemas de armamento.