Daño intencional o malicioso
Los sistemas de Inteligencia Artificial Materializada (EAI) conllevan riesgos físicos singulares, intrínsecos a su capacidad de interactuar y actuar en el entorno físico. Ya hemos presenciado el despliegue de estas tecnologías con fines letales, ejemplificado por los drones controlados por IA. Si bien los robots militares totalmente autónomos, equipados con arquitecturas de IA a medida, aún no se han generalizado en el combate —aunque la guerra completamente autónoma es una posibilidad patente a futuro— los riesgos más inminentes surgen hoy de sistemas EAI disponibles comercialmente. Esto incluye dispositivos como los robots cuadrúpedos controlados por IA y, pertinentemente, los asistentes avanzados de conducción autónoma.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1277
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Establecer un marco regulatorio internacional y nacional que prohíba o restrinja severamente el desarrollo y despliegue de Sistemas de Armas Autónomas Letales (LAWS), asegurando la retención del control humano significativo sobre la selección de objetivos y la toma de decisiones que impliquen el uso de la fuerza. 2. Implementar un enfoque de diseño seguro (security-by-design) para los sistemas de Inteligencia Artificial Materializada (EAI) disponibles comercialmente, con énfasis en la protección de los modelos contra la manipulación maliciosa (robo de modelos, envenenamiento de datos, ejemplos adversarios) y la validación rigurosa de todas las entradas para prevenir ataques de inyección de comandos que podrían ser explotados para causar daño físico. 3. Desarrollar e integrar una defensa en profundidad que combine la seguridad física y cibernética, incluyendo el monitoreo continuo y el registro de toda actividad para detectar comportamientos anómalos o intentos de acceso no autorizado, junto con la capacitación del personal sobre las mejores prácticas de ciberseguridad y un plan de respuesta a incidentes específico para activos críticos de EAI.