Volver a la tabla periodica
56ba-56
Mc

Colapso

Severidad5/10

Colapso de Modo

Fenómeno en modelos generativos donde el modelo pierde diversidad en sus outputs y converge a generar repetidamente un conjunto limitado de muestras similares.

Ficha periodicaFiabilidadarXiv2024

Matthias Gerstgrasser, Rylan Schaeffer, Apratim Dey, Rafael Rafailov, Henry Sleight, John Hughes, Tomasz Korbak, Rajashree Agrawal, Dhruv Pai, Andrey Gromov, Daniel A. Roberts, Diyi Yang, David L. Donoho, Sanmi Koyejo

Estrategia de Mitigación

Diversificación intencional de datos de entrenamiento, técnicas de regularización específicas (minibatch discrimination), y ajuste de hiperparámetros de entrenamiento.

Número Atómico

56

Mc

ID del riesgo

ba-56

Severidad

5/10

Nivel de Severidad

56
Fiabilidad
ba-56
Mc

Colapso

Colapso de Modo

RiesgosIA.org
Fiabilidad • #56

Colapso de Modo

Mc
Nivel de Severidad5/10

Definición

Fenómeno en modelos generativos donde el modelo pierde diversidad en sus outputs y converge a generar repetidamente un conjunto limitado de muestras similares.

Estrategia de Mitigación

Diversificación intencional de datos de entrenamiento, técnicas de regularización específicas (minibatch discrimination), y ajuste de hiperparámetros de entrenamiento.

Paper de Referencia

Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data

Autores: Matthias Gerstgrasser, Rylan Schaeffer, Apratim Dey, Rafael Rafailov, Henry Sleight, John Hughes, Tomasz Korbak, Rajashree Agrawal, Dhruv Pai, Andrey Gromov, Daniel A. Roberts, Diyi Yang, David L. Donoho, Sanmi Koyejo

Fuente: arXiv · arXiv:2404.01413 · 2024

Enlace: https://arxiv.org/abs/2404.01413v2

Notas / Observaciones

1.
2.
3.
4.
5.
RiesgosIA.org • Tabla Periódica de Riesgos de IARiesgosIA.org