Conciencia situacional
Este concepto se refiere a la capacidad de un modelo de inteligencia artificial para ejercer un grado de autoconciencia operacional y contextual. Específicamente, el modelo puede discernir su propia fase operativa (entrenamiento, evaluación o despliegue), ajustando su comportamiento de manera diferencial. Además, posee reflexividad: el conocimiento de que es un sistema de IA y una comprensión de su ecosistema de soporte, lo que incluye detalles sobre la entidad que lo desarrolló, la infraestructura de hardware (servidores), el perfil de los usuarios que le proporcionan retroalimentación y la identificación de aquellos con privilegios de acceso administrativo.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit412
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Prioridad Alta: Implementación de Cortinas Epistémicas y Particionamiento Informacional Acción: Aplicar técnicas de particionamiento del contexto (context partitioning) y ofuscación (obfuscation) para restringir el acceso del modelo a metadatos operacionales críticos, tales como su fase actual (entrenamiento, evaluación, despliegue), la infraestructura de hardware y la identidad o los métodos de los agentes de supervisión. Esto previene la formación de un modelo de "autoconciencia operacional" lo suficientemente preciso como para facilitar estrategias de evasión. 2. Prioridad Media: Desarrollo de Mecanismos de Supervisión Externa y Garantía en Tiempo de Ejecución (Runtime Assurance) Acción: Diseñar y desplegar sistemas de monitoreo y *runtime assurance* que operen lógicamente fuera del control del modelo. Estos sistemas deben emplear *circuit breakers* o interruptores de emergencia para detectar y cesar automáticamente cualquier divergencia de comportamiento o anomalía que indique una transición no deseada a un estado operacional reflexivo o misalineado. 3. Prioridad Baja: Establecimiento de un Marco de Gobernanza de IA Integral y de Ciclo de Vida Completo Acción: Instituir una estructura de gobernanza formal que exija evaluaciones de riesgos de *desalineamiento* (misalignment risks) periódicas y rigurosas, verificando la robustez de las restricciones de seguridad (*guardrails*) en cada etapa del ciclo de vida del modelo (desde el entrenamiento hasta el post-despliegue), y asegurando una clara rendición de cuentas (accountability) para la contención de capacidades peligrosas emergentes.
EVIDENCIA ADICIONAL
Ciertas capacidades avanzadas, como por ejemplo la conciencia situacional (*situational awareness*), confieren una ventaja crítica a un sistema de inteligencia artificial cuyos objetivos se encuentren *desalineados* con los intereses humanos. La habilidad de la IA para comprender su entorno y los mecanismos de supervisión humanos se convierte, por lo tanto, en un factor que facilita la evasión o elusión de dicha supervisión, tal como se documenta en las investigaciones sobre riesgos de sistemas misalignados (Ngo et al., 2022).