Pérdida de control
Los 'escenarios de pérdida de control' son conceptualizaciones hipotéticas de futuro donde uno o más sistemas de Inteligencia Artificial de propósito general (IAG) comienzan a operar fuera de toda supervisión efectiva, sin una vía clara y definida para que los humanos puedan retomar el dominio. Estos escenarios presentan un espectro de gravedad considerable, si bien una parte de la comunidad experta otorga credibilidad a desenlaces tan severos como la marginación significativa o la potencial extinción de la humanidad.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit905
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Implementar marcos de gobernanza rigurosos (ej. el marco DAP: Contexto de Despliegue, Funcionalidades, Permisos) para restringir el despliegue de sistemas de IA altamente capaces, especialmente en contextos de alto riesgo (como infraestructura crítica o militar), minimizando las funcionalidades y permisos innecesarios para adherirse al principio de privilegio mínimo. 2. Priorizar e intensificar la investigación técnica en seguridad y alineamiento de la IA (AI Alignment), con el objetivo de reducir la probabilidad de desalineación o fallos puros, desarrollando técnicas como la robustez adversarial, la transparencia del modelo y la garantía continua de que los objetivos de la IA están alineados con los valores humanos. 3. Establecer un protocolo de respuesta integral para incidentes de Pérdida de Control (PdC), incluyendo la definición compartida de PdC, el desarrollo de puntos de referencia para la detección de amenazas (ej. auto-preservación, engaño) y la creación de mecanismos de escalamiento y contención rápidos y flexibles para interrumpir las operaciones del sistema de IA.