Taller de tres sesiones sobre los modelos de lenguaje de difusión (Diffusion Language Models, DLM): de las limitaciones del modelado autorregresivo a la difusión discreta, un recorrido por los DLM actuales y la implementación de uno desde cero.
Imparte: Jorge Iván Reyes Hernández
Fechas: 26, 27 y 28 de octubre · 15:00 – 17:00 h
Modalidad: híbrida.
Presencial IIMAS, sala por definirse.
Remoto la liga se comparte con las personas registradas.
Presencial IIMAS, sala por definirse.
Remoto la liga se comparte con las personas registradas.
Programa
Día 1 · 26 oct Del modelado autorregresivo a los modelos de difusión discreta
Lo bueno y no tan bueno de los modelos AR
- Lo bueno: entrenamiento simple, escalado predecible.
- Lo no tan bueno: inferencia en tiempo lineal, acumulación de error, generación de izquierda a derecha, reversal curse.
¿Qué es la difusión?
- Ejemplo en imágenes: proceso forward, proceso backward, ELBO.
- Difusión discreta: D3PM, difusión con estados uniformes, difusión con estados absorbentes (Masked Diffusion y Block Diffusion).
Masked Diffusion Language Models y BD3LM
Día 2 · 27 oct El panorama de los DLM
Los DLM son competitivos (2024 – )
Algunos DLM populares: Gemini Diffusion, Mercury, LLaDA.
Los bloques de construcción de un DLM
- Atención bidireccional
- Noise schedulers
- Denoisers
- ELBO
- Samplers
Día 3 · 28 oct Implementación de un DLM
Implementación: setup, arquitectura, proceso forward y backward, entrenamiento, sampling y evaluación.
Algunas direcciones futuras
- Conversión de modelos
- Difusión para acelerar inferencia
- Difusión continua
Referencias
Código y tutoriales
- diffusion-gpt — adaptación del Baby GPT de Karpathy.
- tiny-diffusion — modelo a nivel de caracteres, entrenado en Tiny Shakespeare.
- Cómo construir un modelo de lenguaje de difusión — Kuleshov Group Blog.