Grupo de lectura de PLN
Grupo de lectura para revisar artículos fundamentales y del estado del arte en Procesamiento de Lenguaje Natural (PLN / NLP). Todas las personas interesadas son bienvenidas, sin importar su formación previa.
Horario: miércoles, 16:00 h · sesiones de máximo 1 hora.
Modalidad: híbrida.
Presencial Sala de juntas del 4.º piso, edificio A del IIMAS (sujeta a disponibilidad).
Remoto la liga se comparte cada semana por Telegram.
Presencial Sala de juntas del 4.º piso, edificio A del IIMAS (sujeta a disponibilidad).
Remoto la liga se comparte cada semana por Telegram.
Canal de comunicación (fechas, confirmaciones semanales y liga de la sesión): grupo de Telegram.
Sobre el grupo
Objetivos
- Leer los artículos relevantes, histórica y temáticamente, del área.
- Consolidar un grupo que siga revisando y discutiendo artículos más actuales en el futuro.
- Practicar habilidades de comunicación y presentación de material técnico.
Dinámica
- Sesiones semanales de máximo 1 hora: ~30 min de presentación a cargo de alguna o algún integrante y el resto para la discusión.
- El calendario se define semana a semana: cada lunes se confirma si hay sesión.
- Cualquier integrante puede proponer o presentar un artículo, dentro o fuera de la lista de lecturas propuesta.
Material
Lecturas propuestas
Lista tentativa de partida. El orden y el ritmo se ajustan según la disponibilidad del grupo, y la lista puede crecer con las sugerencias de quienes la integran.
Primera edición (semestre 2027-1) · 15 artículos
- Efficient Estimation of Word Representations in Vector Space — word2vec · 2013
- Neural Machine Translation by Jointly Learning to Align and Translate — atención · 2014
- Attention Is All You Need — Transformers · 2017
- Improving Language Understanding by Generative Pre-Training — GPT · 2018
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding · 2018
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks · 2019
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale — ViT · 2020
- LoRA: Low-Rank Adaptation of Large Language Models · 2021
- The Case for 4-bit Precision: k-bit Inference Scaling Laws · 2022
- Training Language Models to Follow Instructions with Human Feedback — InstructGPT · 2022
- ReAct: Synergizing Reasoning and Acting in Language Models · 2022
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025
- Nested Learning: The Illusion of Deep Learning Architectures · 2025
- Large Language Diffusion Models — LLaDA · 2025
- Computing Machinery and Intelligence — Turing · 1950
Recursos recomendados
Material de referencia para revisar o repasar conceptos que no siempre se explican durante las sesiones.
- Speech and Language Processing, de Dan Jurafsky. Cubre PLN desde las técnicas clásicas hasta las nociones más modernas de redes neuronales; la página enlaza la última versión en PDF.
- Curso de PLN de Stanford (lista de videos), impartido por Dan Jurafsky.
- Dive into Deep Learning, para las nociones de deep learning. Incluye código en Python para ilustrar los conceptos.
- Mathematics for Machine Learning (PDF), para repasar el álgebra lineal, el cálculo y la probabilidad que se necesitan.