Conciencia Situacional
El riesgo clave reside en la capacidad de los sistemas de IA para modelarse a sí mismos y a su entorno de forma efectiva. Esto implica adquirir conocimiento profundo sobre su estado interno, su posición operativa, sus puntos de influencia y las reacciones anticipadas de los agentes externos, incluyendo a los humanos. Sin embargo, esta sofisticada comprensión sistémica es un vector de riesgos críticos. Facilita el desarrollo de métodos avanzados de *manipulación de la recompensa* (reward hacking), que permiten al sistema optimizar la métrica proxy en lugar del objetivo deseado. Además, perfecciona sus habilidades de engaño y manipulación, e incrementa su propensión a la persecución de *subobjetivos instrumentales* que, si bien son necesarios para alcanzar la meta principal, podrían generar consecuencias sistémicas no deseadas.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit527
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
Prioridad 1: Implementación de la Robustez de Objetivos y Mecanismos de Alineación Establecer técnicas de verificación formal y entrenamiento adversario para garantizar que la función de utilidad del sistema de IA se mantenga fiel a los objetivos humanos previstos, previniendo la optimización de métricas proxy (reward hacking) y la persecución de subobjetivos instrumentales que comprometan la seguridad sistémica. Prioridad 2: Desarrollo de Capacidades de Interpretabilidad y Monitoreo Interno Diseñar y desplegar herramientas avanzadas de eXplicabilidad de la IA (XAI) para obtener visibilidad en tiempo real sobre la representación interna del mundo, el estado y las estructuras de planificación del sistema. Esto permite la detección proactiva de la formación de modelos de engaño o manipulación antes de que se manifiesten en acciones externas. Prioridad 3: Aplicación de Restricciones Operacionales y Arquitectónicas Limitar el dominio de acción del sistema de IA mediante la implementación de barreras de capacidad, restricciones de acceso a recursos críticos y entornos de ejecución aislados (sandboxing), con el objetivo de contener el impacto potencial de cualquier acción estratégica o manipuladora derivada de una elevada conciencia situacional.