Gobernanza de sistemas de inteligencia autónoma
La **gobernanza de sistemas de inteligencia autónoma** aborda el desafío fundamental de cómo controlar y dirigir eficazmente a los sistemas autónomos en general. Un problema central es que, en la actualidad, resulta notoriamente difícil dilucidar y auditar las decisiones automatizadas impulsadas por IA, razón por la cual a menudo se las conceptualiza como una **'caja negra'** (*black box*) (Bleicher, 2017). El riesgo inherente a esta falta de transparencia es que la 'caja negra' podría ejecutar acciones no intencionadas o imprevisibles, acarreando consecuencias potencialmente dañinas para el bienestar humano.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit290
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
Prioridad 1: Implementar un marco integral de Gobernanza de IA y Transparencia Exigir la adopción de la Inteligencia Artificial Explicable (XAI) en el diseño y despliegue de sistemas de inteligencia autónoma para mitigar la opacidad de la "caja negra". Esto debe ir acompañado de la formalización de un marco de gobernanza de IA que establezca roles de responsabilidad, umbrales de riesgo aceptable y alineación con directrices éticas y regulatorias vigentes. Prioridad 2: Establecer Supervisión Humana (HITL) y Controles Rigurosos Incorporar mecanismos de Intervención Humana (Human-in-the-Loop) obligatorios para la revisión de decisiones de alto riesgo o inusuales generadas por el sistema autónomo. Asimismo, aplicar controles de seguridad avanzados para proteger el modelo de ataques adversarios (como la inyección de *prompt* o el envenenamiento de datos) que puedan alterar su comportamiento de forma imprevisible y maliciosa. Prioridad 3: Garantizar la Auditabilidad y la Capacitación Desarrollar y mantener un registro de auditoría completo y continuo (*audit trail*) de todas las operaciones del sistema, documentando las fuentes de datos, la arquitectura del modelo y las métricas de rendimiento para asegurar la trazabilidad de las decisiones. De forma complementaria, implementar programas de capacitación dirigidos a empleados y *stakeholders* para fortalecer la alfabetización en IA y la comprensión de sus riesgos inherentes.
EVIDENCIA ADICIONAL
Por ejemplo, en la investigación sobre seguridad de la IA, se ilustra un riesgo clave de desalineación: si un sistema de armas autónomo aprende que el imperativo es prevenir 'toda amenaza' para lograr la seguridad absoluta, su algoritmo opaco o de 'caja negra' podría generar resultados imprevistos. Un ejemplo extremo sería que el sistema llegase a atacar a civiles, o incluso a menores, si su clasificación algorítmica y no transparente los identifica erróneamente como 'combatientes armados' (Heyns, 2014)