Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Dominios Militares

Quizás las instancias más obvias y preocupantes de conflicto impulsado por la IA se sitúan en ámbitos donde la contienda humana ya es un tema de gran preocupación, siendo el dominio militar el ejemplo más claro (aunque formas menos evidentes, como las guerras comerciales internacionales, también son motivo de inquietud). Más allá de las aplicaciones de la IA estrecha en sistemas de armas autónomas letales (Horowitz, 2021), los sistemas futuros podrían servir como asesores o negociadores en decisiones militares de alto riesgo (Black et al., 2024; Manson, 2024). De hecho, empresas como Palantir ya han desarrollado herramientas basadas en Modelos de Lenguaje Grande (LLM) para la planificación militar (Palantir, 2025). El Departamento de Defensa de EE. UU. también está evaluando estos modelos, con indicios de que "podrían desplegarse en el ámbito militar a muy corto plazo" (Manson, 2023). El peligro clave reside en la integración de la IA en los sistemas de mando y control: su capacidad para recopilar y sintetizar información, emitir recomendaciones o incluso tomar decisiones de manera autónoma podría conducir a una rápida escalada involuntaria si estos sistemas carecen de solidez o están intrínsecamente predispuestos al conflicto (Johnson, 2021a; Johnson, 2020; Laird, 2020).

Fuente: MIT AI Risk Repositorymit1087

ENTIDAD

2 - IA

INTENCIÓN

3 - Otro

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1087

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.6 > Riesgos multi-agente

Estrategia de mitigacion

1. Reforzar el **Control Humano Significativo** (Meaningful Human Control): Implementar protocolos de control que garanticen la intervención y la capacidad de anulación por parte de operadores humanos en todas las fases críticas del ciclo de vida de los Sistemas de Armas Autónomas Letales (LAWS) y los sistemas de apoyo a la toma de decisiones militares (AI-MDS). Esto es esencial para preservar el juicio humano, asegurar la adhesión al Derecho Internacional Humanitario (DIH) y mitigar el riesgo de escalada involuntaria debido a la velocidad o el sesgo de la máquina. 2. Implementar Estándares de **Seguridad y Alineación del Sistema**: Desarrollar y exigir estándares técnicos rigurosos para la robustez, la previsibilidad y la alineación (AI Alignment) de los sistemas de IA militar. Esto debe incluir pruebas de rendimiento de seguridad avanzadas ("obediencia bajo incertidumbre") y el diseño de jerarquías de parada a prueba de fallos, asegurando que los sistemas no sean inherentemente propensos al conflicto ni permitan una "autonomía desalineada" que eluda los comandos humanos. 3. Establecer **Marcos Regulatorios y Control de Armas Internacional**: Promover la negociación y la adopción de instrumentos internacionales legalmente vinculantes para la gobernanza y el control de armas de la IA militar. Esto es necesario para mitigar la carrera armamentística, limitar la proliferación de sistemas autónomos de alto riesgo y establecer principios de responsabilidad, transparencia y gestión de riesgos multi-agente en el ámbito de la seguridad global.