Actualizado: Hoy

OBSERVATORIO.IA

Monitor de papers de investigación en el área de seguridad de IA, actualizado diariamente.

Interpretabilidad

Guiando la ingeniería de datos post-entrenamiento de LLMs mediante la información interna del modelo obtenida con autoencoders dispersos

2026-05-25
Desconocido

Este estudio presenta SAERL, un marco de ingeniería de datos que utiliza autoencoders dispersos (SAE) para extraer información interna de los modelos y caracterizar la diversidad, dificultad y calidad de los datos. Este enfoque mejora significativamente el aprendizaje por refuerzo de LLMs, logrando un 3.00% más de precisión y requiriendo un 20% menos de pasos de entrenamiento, demostrando la utilidad práctica de las señales internas del modelo.

by Yi Jing, Zao Dai, Jinwu Hu et al.
Alineación

Posición: La Seguridad de la IA Requiere Controllabilidad Efectiva

2026-05-25
Desconocido

Este artículo argumenta que la seguridad de la IA exige la controlabilidad como un objetivo primordial, ya que la alineación por sí sola no garantiza que un agente pueda ser detenido o redirigido en entornos complejos. Los autores definen la controlabilidad como la capacidad de un sistema de IA para ser fiable, interrumpible y redirigible en tiempo real, proponiendo un marco arquitectónico centrado en el control para lograrlo.

by Yige Li, Yunhao Feng, Jun Sun
Interpretabilidad

Detección de Cadenas de Pensamiento Infieles a través de Discrepancia Interna-Externa Guiada por Circuitos

2026-05-24
Desconocido

Este estudio aborda la detección de razonamientos Chain-of-Thought (CoT) no fieles en LLMs, donde las trazas generadas no reflejan el proceso de decisión real del modelo, una limitación de los detectores actuales que solo usan señales externas. Los investigadores proponen CIE-Scorer, un marco que rastrea eficientemente circuitos a nivel de oración y mide la discrepancia entre grafos de razonamiento internos y externos para identificar la infidelidad con alta precisión.

by Xu Shen, Zhen Tan, Song Wang et al.
Interpretabilidad

Teoría de Campos de Profundidad Continua para el Parcheo de Transformers y la Interpretabilidad Mecanicista

2026-05-23
Desconocido

Los autores presentan un marco de teoría de campos que modela las corrientes residuales de los Transformers como campos de profundidad-token, permitiendo organizar y predecir intervenciones de interpretabilidad mecanicista. Empíricamente, el estudio valida esta teoría en modelos tipo GPT-2, mostrando cómo predecir efectos de parcheo, medir su propagación y transferir comportamientos de respuesta mediante desplazamientos residuales inducidos por prompts.

by David N. Olivieri, Antonio F. Pérez Rodríguez
Alineación

Ocultar para Guiar: Aprendizaje mediante Enmascaramiento Semántico

2026-05-23
MIT

Este estudio presenta SMEPO, una estrategia de enmascaramiento semántico para el aprendizaje por refuerzo guiado por expertos con recompensas verificables (RLVR). SMEPO evita que los modelos "hackeen" las recompensas al ocultar partes cruciales de las soluciones expertas, obligándolos a reconstruir la información faltante mientras siguen la estructura de resolución de problemas.

by Ruitao Liu, Qinghao Hu, Alex Hu et al.
Alineación

Cultivando la Inteligencia Maquínica: El Giro OMEGA de la Optimización Descendente a las Ecologías Cognitivas Autopoiéticas

2026-05-23
Desconocido

El paradigma actual de inteligencia artificial, basado en la optimización descendente, genera modos de fallo estructurales como la alucinación, la sicofancia y la fragilidad de alineación. Este estudio introduce RECLAIM, un marco teórico que propone cultivar la inteligencia mediante ecologías computacionales, marcando un giro OMEGA de la optimización a la emergencia autopoiética.

by Ata G. Zare
Gobernanza

Invirtiendo el Escudo: Generación Sistemática de Pruebas de Seguridad a Partir de Especificaciones de Políticas

2026-05-23
Desconocido

El marco POLARIS introduce un enfoque novedoso para la seguridad de la IA, generando sistemáticamente casos de prueba a partir de especificaciones de políticas en lenguaje natural. Transforma reglas de alto nivel en lógica de primer orden, construyendo un grafo semántico de políticas para descubrir patrones de violación complejos, lo que permite pruebas de seguridad reproducibles y con trazabilidad verificable.

by Xiaoyue Lu, Xianglin Yang, Haijun Liu et al.
Interpretabilidad

La Zona de Asignación de Conceptos: Cómo se Forman las Ideas en las Capas de los Transformers

2026-05-23
Desconocido

Este estudio introduce la Zona de Asignación de Conceptos (CAZ) para rastrear cómo las ideas se forman gradualmente a lo largo de las capas de los modelos transformer, en lugar de aparecer en una única capa. La CAZ formaliza el intervalo de profundidad donde un concepto se vuelve mediblemente separable, revelando regiones sutiles de asignación que los métodos estándar a menudo pasan por alto.

by James Henry
Ética

HoloFair: Evaluación Unificada de la Equidad en T2I y Desesgo con Fair-GRPO

2026-05-22
Desconocido

Los modelos de texto a imagen (T2I) a menudo perpetúan sesgos sociales; HoloFair introduce un marco integral para analizar sesgos demográficos multidimensionales, utilizando un nuevo índice (MGBI) para evaluar la diversidad intrínseca y los sesgos condicionales. Además, presenta Fair-GRPO, un método de desesgo basado en aprendizaje por refuerzo que mejora significativamente la equidad multidimensional en modelos como SD3.5-Medium, manteniendo la calidad de imagen.

by Ruyi Chen, Lu Zhou, Xiaogang Xu et al.