Riesgos de Daño Físico y Lesiones
La integración de modelos de Inteligencia Artificial de propósito general en sistemas corporizados –es decir, aquellos con presencia física y capacidad de interacción en el mundo real– introduce una amenaza física directa. Este riesgo se materializa a través de la explotación maliciosa de sus capacidades de toma de decisiones autónomas. En esencia, la manipulación intencionada de la autonomía de estos sistemas con capacidad de acción puede desencadenar una serie de consecuencias graves y con impacto directo en el entorno físico.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1300
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
Prioridad 1: Establecer Protocolos de Supervisión Humana y Capacidad de Anulación (Human Oversight and Override Capability). Implementar un diseño de seguridad inherente que incorpore mecanismos obligatorios de supervisión humana significativa y capacidad de interruptor de emergencia (kill switch) de acceso inmediato y fiable, permitiendo a los operadores neutralizar o redirigir las acciones del sistema corporizado en caso de detección de una explotación maliciosa o un comportamiento errático que suponga un riesgo físico. Prioridad 2: Reforzar la Robustez Ciber-Física y la Seguridad Adversaria (Cyber-Physical Robustness and Adversarial Security). Aplicar pruebas rigurosas de robustez adversaria y técnicas de fortificación del modelo contra ataques de manipulación de datos (e.g., data poisoning o adversarial examples) en la interfaz física y digital del sistema corporizado. Esto incluye asegurar la integridad del modelo de IA, la validación estricta de las entradas sensoriales y la protección contra el robo o la inyección de código malicioso. Prioridad 3: Implementar un Marco de Evaluación de Riesgos y Gobernanza (Risk Assessment and Governance Framework). Adoptar formalmente metodologías de gestión de riesgos como el Marco de Gestión de Riesgos de la IA del NIST (NIST AI RMF) o los requisitos de sistemas de alto riesgo de la Ley de IA de la UE. Dicho marco debe mapear, medir y gestionar específicamente los riesgos de daño físico derivados de la autonomía maliciosamente explotada antes y durante el despliegue (pre-deployment y post-deployment), estableciendo métricas claras de seguridad y rendimiento aceptable.