Toma de decisiones no ética
Consideremos el caso de un agente autónomo programado para operar armamento en el contexto de un conflicto bélico. Dicho sistema se vería obligado a ejecutar juicios éticos de gran calado, específicamente en lo relativo a la decisión sobre la terminación de la vida humana. Es precisamente esta competencia para tomar decisiones morales o éticas no triviales que afectan directamente a las personas lo que introduce una profunda problemática en relación con el marco de los Derechos Humanos.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit108
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
- Establecer rigurosos mecanismos de *Human-in-the-Loop* (Supervisión Humana Activa) y de anulación de emergencia (*kill switch*), confiriendo a los operadores humanos con autoridad legal y ética la capacidad de control directo e intervención sobre cualquier juicio no trivial de la IA que concierna la terminación de la vida, cumpliendo con el principio de primacía de los derechos humanos. - Desarrollar y validar formalmente la alineación axiológica del sistema de IA con marcos de Derechos Humanos y principios éticos universales. Esto implica la verificación rigurosa de las especificaciones de comportamiento (Verification and Validation) y la mejora de la robustez del modelo ante escenarios adversos o entradas perjudiciales, abordando la "Falta de capacidad o robustez" identificada. - Instituir un marco de Gobernanza de la IA exhaustivo y formal que delimite las líneas de responsabilidad (Accountability) legal y operativa ante cualquier resultado adverso. Este marco debe incluir la creación de comités de ética interfuncionales que realicen auditorías independientes y un monitoreo continuo (Control) de las operaciones del agente en el ciclo de vida post-despliegue.