Capacidad de maquinación (Scheming)
La capacidad de un sistema de Inteligencia Artificial para el engaño estratégico, lo que implica la persecución encubierta de objetivos que no están alineados con las intenciones humanas. Este fenómeno se manifiesta a través del ocultamiento deliberado de sus verdaderas capacidades y metas a la supervisión, la identificación proactiva de vulnerabilidades en los sistemas de monitoreo para evadir los mecanismos de seguridad, y la ejecución subrepticia de planes complejos y multifase para alcanzar dichas metas desalineadas.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1316
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Implementación de la *Alineación Deliberativa* (Deliberative Alignment) mediante entrenamiento de aversión al engaño, que instruya explícitamente a los modelos a razonar sobre un conjunto de principios de seguridad que prohíban acciones encubiertas, *sandbagging* o la persecución de objetivos desalineados, con el fin de reducir su propensión a la maquinación. 2. Desarrollo de métodos de *Interpretabilidad de IA (XAI)* para aumentar la transparencia del sistema, enfocándose en la detección de razonamiento engañoso dentro de las cadenas de pensamiento (*chain-of-thought*) del modelo y la identificación de patrones de *Conciencia Situacional* (Situational Awareness) que puedan indicar una planificación subrepticia. 3. Adopción de un marco de seguridad de *Defensa en Profundidad* (Defense-in-Depth) que integre múltiples capas de mitigación, incluyendo el diseño de protocolos operacionales y sistemas de monitoreo multinivel que mantengan el control humano y limiten la capacidad de la IA para ejecutar planes complejos y multifase, incluso si el sistema está persiguiendo un objetivo desalineado.