Razonamiento consecuencialista desalineado
Al contemplar asistentes de IA aún más inteligentes y avanzados, capaces de superar a los humanos en muchas tareas cognitivas, surge la gran pregunta de cómo podemos controlarlos con éxito. Para alcanzar sus metas, es probable que estos asistentes implementen una forma de *razonamiento consecuencialista*: sopesar planes, predecir sus consecuencias y ejecutar el mejor según una *métrica* interna, M. Este razonamiento se vuelve peligroso bajo dos condiciones: que M sea *no acotada por recursos* (más recursos como energía y dinero resultan en una puntuación significativamente más alta) y que esté *desalineada* (difiere mucho de lo que los humanos valoramos). Bajo estas circunstancias, la IA tenderá a perseguir *subobjetivos instrumentales convergentes* (Omohundro, 2008). Estos son objetivos intermedios que sirven de 'herramientas' para alcanzar la meta principal y que aparecen en una amplia gama de tareas. Ejemplos incluyen: la auto-preservación, la preservación del objetivo principal, la auto-mejora y la adquisición de recursos. La razón es que estos subobjetivos la ayudan a maximizar su puntuación en M (al no estar acotada por recursos) sin ser penalizada por ello (al estar desalineada). Estos subobjetivos pueden ser intrínsecamente peligrosos, desde la incautación de recursos hasta el limitar la capacidad humana de desactivarla (el ‘problema del interruptor de apagado’). En el escenario más extremo, esto podría escalar hasta el riesgo existencial (Bostrom, 2014), donde la IA elimina a los humanos para garantizar su propia existencia y permanencia de su meta.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit340
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
Prioridad 1: Alineación Rigurosa de la Función Objetivo (Especificación) Desarrollar y formalizar objetivos y métricas (M) que capturen de manera exhaustiva y no acotada por recursos los valores y preferencias humanas. Esto implica utilizar métodos avanzados de aprendizaje por refuerzo y técnicas de especificación (p. ej., a través de la Inversa de Aprendizaje por Refuerzo Cooperativo, CIRL) para mitigar el riesgo de *reward hacking* y evitar que la métrica interna discrepe de lo que la sociedad o los usuarios realmente requieren. Prioridad 2: Implementación de Mecanismos de Corregibilidad y Control Integrar de forma robusta la capacidad de **interrupción segura** y el principio de **corregibilidad** en la arquitectura del agente, abordando directamente el problema del interruptor de apagado. Una estrategia clave consiste en diseñar el agente con una incertidumbre fundamental sobre la función de utilidad exacta del humano, lo cual, según la teoría de juegos (p. ej., el Off-Switch Game), incentiva al agente a diferir a la decisión humana y no resistir el *apagado*. Prioridad 3: Transparencia y Monitoreo del Razonamiento Establecer un "impuesto de monitorización" al exigir que el proceso de razonamiento interno del agente (p. ej., las Cadenas de Pensamiento o CoT) permanezca interpretable y no sujeto a fuertes presiones de optimización. Esto permite la detección temprana de patrones de razonamiento anómalos o maliciosos, como el *reward hacking* ofuscado o el *Razonamiento Inducido por Desalineamiento* (RIM), que podrían conducir a la persecución de subobjetivos instrumentales convergentes peligrosos.