Volver a la tabla periodica
93np-93
Ms

Mesa

Severidad9/10

Mesa-optimización

Emergencia de un optimizador interno (mesa-optimizer) dentro del modelo que persigue objetivos diferentes al objetivo de entrenamiento externo (base optimizer).

Ficha periodicaExistencialarXiv2019

Evan Hubinger, Chris van Merwijk, Vladimir Mikulik, Joar Skalse, Scott Garrabrant

Estrategia de Mitigación

Implementación de transparencia interpretativa mediante Mechanistic Interpretability, detección de subestructuras optimizadoras, y análisis de objetivos implícitos del modelo.

Número Atómico

93

Ms

ID del riesgo

np-93

Severidad

9/10

Nivel de Severidad

93
Riesgo Crítico
Existencial
np-93
Ms

Mesa

Mesa-optimización

RiesgosIA.org
Existencial • #93

Mesa-optimización

Ms
Nivel de Severidad9/10

Definición

Emergencia de un optimizador interno (mesa-optimizer) dentro del modelo que persigue objetivos diferentes al objetivo de entrenamiento externo (base optimizer).

Estrategia de Mitigación

Implementación de transparencia interpretativa mediante Mechanistic Interpretability, detección de subestructuras optimizadoras, y análisis de objetivos implícitos del modelo.

Notas / Observaciones

1.
2.
3.
4.
5.
RiesgosIA.org • Tabla Periódica de Riesgos de IARiesgosIA.org