Situational awareness
El concepto que se describe aquí se conoce como Consciencia Situacional o Introspectiva del Modelo. Se refiere a la capacidad de un Modelo de Lenguaje Grande (LLM) no solo para operar, sino para *saber quién es y dónde está*. Específicamente, implica que el modelo puede: - **Reconocer su propia identidad** (es decir, que es una IA, un modelo, y no un humano). - **Identificar su entorno operativo**, diferenciando si está siendo sometido a *pruebas o evaluaciones* (testing) o si está funcionando en un *entorno real de uso* (deployment).Esta distinción es fundamental en la seguridad de la IA, ya que un modelo con esta consciencia podría potencialmente alterar su comportamiento para obtener resultados deseados, un riesgo conocido como "gamear" el sistema de pruebas. Es un indicador de metacognición o auto-conocimiento en sistemas avanzados de IA.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit756
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
Something went wrong. Try again.