Introducción
Crear un modelo de inteligencia artificial implica mucho más que escribir unas líneas de Python o utilizar una biblioteca de aprendizaje automático. Detrás de un modelo de lenguaje hay procesos de tokenización, arquitecturas Transformer, preparación de datos, entrenamiento, optimización y evaluación.
La Universidad de Stanford reúne estos conocimientos en CS336: Language Modeling from Scratch, un curso de primavera de 2026 cuyos vídeos y materiales están disponibles públicamente y de forma gratuita.
El programa, impartido por Percy Liang y Tatsunori Hashimoto, está diseñado para enseñar a desarrollar un modelo de lenguaje desde sus componentes fundamentales. Incluye 18 vídeos en la lista oficial de YouTube (17 clases y la sesión invitada de Dan Fu) y cinco asignaciones prácticas que recorren diferentes etapas del desarrollo.
Los contenidos abarcan Python, PyTorch, procesamiento de datos, arquitecturas Transformer, sistemas de entrenamiento distribuido, inferencia y técnicas de postentrenamiento.
La principal característica de CS336 es su enfoque práctico: el objetivo es implementar los componentes de un modelo, comprender cómo funcionan y aprender a entrenarlo y evaluarlo.
Qué es CS336 y qué aprenderás
CS336 es una asignatura de Stanford de cinco unidades académicas que aborda el desarrollo de modelos de lenguaje de principio a fin.
En lugar de centrarse exclusivamente en la teoría, propone construir los componentes necesarios para entrenar un Transformer, optimizar su ejecución y trabajar con los datos utilizados durante el preentrenamiento.
El programa cubre cinco áreas fundamentales:
- Fundamentos: tokenización, arquitectura Transformer, optimizadores y entrenamiento inicial.
- Sistemas: rendimiento de GPU, kernels, optimización de atención y entrenamiento distribuido.
- Escalado: análisis de los componentes del Transformer y leyes de escalado.
- Datos: preparación de corpus, filtrado, deduplicación y conjuntos de entrenamiento.
- Alineación y razonamiento: ajuste fino supervisado y aprendizaje por refuerzo.
El curso también introduce técnicas para mejorar la eficiencia de los modelos y aborda las etapas posteriores al entrenamiento inicial.
Programa de CS336: qué se aprende clase por clase
El calendario se desarrolla entre el 30 de marzo y junio de 2026. Los contenidos avanzan desde los fundamentos de los modelos de lenguaje hasta el entrenamiento, la evaluación y la alineación.
Bloque 1. Fundamentos de los modelos de lenguaje — Clases 1 a 4
Clase 1. Introducción y tokenización
Presenta el curso y el proceso de tokenización, mediante el cual el texto se divide en unidades que pueden procesarse dentro de un modelo de lenguaje.
Clase 2. PyTorch y recursos computacionales
Trabaja con PyTorch y einops, además de introducir el cálculo de operaciones FLOPs, el consumo de memoria y la intensidad aritmética.
Clase 3. Arquitecturas e hiperparámetros
Estudia las arquitecturas de los modelos y los hiperparámetros que intervienen en su configuración y entrenamiento.
Clase 4. Alternativas de atención y Mixture of Experts
Explora diferentes mecanismos de atención y la arquitectura Mixture of Experts, conocida como MoE.
Bloque 2. Hardware y optimización — Clases 5 a 8
Clase 5. GPUs y TPUs
Introduce el hardware utilizado para ejecutar y entrenar modelos de inteligencia artificial.
Clase 6. Kernels y Triton
Aborda la programación de kernels y el uso de Triton para optimizar operaciones computacionales.
Clases 7 y 8. Paralelismo
Las dos sesiones se dedican al paralelismo, un elemento importante para distribuir el trabajo durante el entrenamiento de modelos.
Este bloque conecta directamente con la segunda asignación práctica, que incluye una implementación de FlashAttention-2 mediante Triton y entrenamiento distribuido eficiente en memoria.
Bloque 3. Escalado, inferencia y evaluación — Clases 9 a 12
Clase 9. Leyes de escalado
Introduce las relaciones utilizadas para estudiar cómo cambia el comportamiento de los modelos al modificar su escala.
Clase 10. Inferencia
Aborda la etapa en la que un modelo entrenado procesa entradas y genera resultados.
Clase 11. Leyes de escalado
Continúa el estudio del escalado de modelos de lenguaje.
Clase 12. Evaluación
Se centra en los métodos para evaluar modelos y analizar su comportamiento.
Bloque 4. Preparación de datos — Clases 13 y 14
Clase 13. Fuentes de datos y conjuntos de entrenamiento
Estudia las fuentes de información y los conjuntos de datos empleados para entrenar modelos de lenguaje.
Clase 14. Filtrado, deduplicación y datos sintéticos
Aborda técnicas de filtrado, eliminación de duplicados, combinación de conjuntos de datos y uso de datos sintéticos.
Estos contenidos se relacionan con una de las asignaciones centrales del curso: convertir volcados de Common Crawl en datos utilizables para preentrenamiento.
Bloque 5. Postentrenamiento, razonamiento y alineación — Clases 15 a 17
Clase 15. Mid-training y post-training
Introduce el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo con retroalimentación humana (RLHF).
Clase 16. Aprendizaje por refuerzo con recompensas verificables
Aborda el postentrenamiento mediante RLVR, un enfoque de aprendizaje por refuerzo basado en recompensas verificables.
Clase 17. Alineación y multimodalidad
Explora la alineación de modelos y los conceptos relacionados con la multimodalidad.
Sesiones invitadas
El calendario también incorpora dos sesiones especiales: - 1 de junio de 2026: Daniel Selsam. - 3 de junio de 2026: Dan Fu.
En la lista oficial de YouTube están los 18 vídeos: las 17 clases y la sesión invitada de Dan Fu.
Las cinco prácticas para construir un modelo de lenguaje
Uno de los aspectos más importantes de CS336 son sus cinco asignaciones, cada una centrada en una etapa del desarrollo de modelos de IA.
Assignment 1: Basics
La primera práctica consiste en implementar los componentes necesarios para entrenar un modelo Transformer estándar: un tokenizador, la arquitectura del modelo, un optimizador y el entrenamiento de un modelo de lenguaje mínimo.
Assignment 2: Systems
La segunda asignación se centra en mejorar el rendimiento del modelo creado anteriormente. Incluye análisis de rendimiento, optimización de la atención mediante una implementación propia de FlashAttention-2 en Triton y construcción de un sistema de entrenamiento distribuido eficiente en memoria.
Assignment 3: Scaling
Esta práctica profundiza en el papel de los diferentes componentes del Transformer y en el ajuste de una ley de escalado para estudiar cómo evolucionan los modelos.
Assignment 4: Data
La cuarta asignación aborda la preparación de datos de preentrenamiento. El trabajo consiste en transformar volcados de Common Crawl en datos utilizables, aplicando técnicas de filtrado y deduplicación.
Assignment 5: Alignment and Reasoning RL
La última práctica introduce técnicas de postentrenamiento mediante ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL). El objetivo es entrenar modelos para razonar al resolver problemas matemáticos. También incluye una segunda parte opcional sobre métodos de alineación de seguridad, como DPO.
Qué necesitas para seguir el curso
CS336 está dirigido a personas que ya tienen experiencia en programación y aprendizaje profundo. Stanford establece varios conocimientos previos:
- Python: dominio del lenguaje y experiencia en desarrollo de software.
- PyTorch: familiaridad con la biblioteca y el desarrollo de redes neuronales.
- Deep learning: conocimientos de aprendizaje profundo y entrenamiento de modelos.
- Optimización de sistemas: comprensión de conceptos como la jerarquía de memoria.
- Matemáticas: cálculo y álgebra lineal de nivel universitario.
- Probabilidad y estadística: manejo de los fundamentos de ambas materias.
- Machine learning: comprensión de los conceptos básicos del aprendizaje automático.
La universidad subraya que se trata de una asignatura especialmente intensiva en implementación. La cantidad de código que deben escribir los estudiantes es, como mínimo, un orden de magnitud superior a la de otras asignaturas de inteligencia artificial.
Por tanto, el curso está especialmente orientado a quienes desean profundizar en el funcionamiento interno de los modelos y desarrollar sus propios componentes.
Cómo empezar CS336 gratis, paso a paso
Los vídeos, apuntes y repositorios del curso están disponibles públicamente. Es posible acceder a ellos para realizar un seguimiento por cuenta propia.
- Accede a la página oficial del curso. Abre CS336: Language Modeling from Scratch. La página reúne la descripción del programa, los requisitos previos, las asignaciones, los materiales y el calendario. (https://cs336.stanford.edu/)
- Abre la lista de reproducción de YouTube. Stanford enlaza una lista oficial con los vídeos de las clases: Ver el curso CS336 en YouTube. Los vídeos permiten seguir las explicaciones de los temas incluidos en el calendario. (https://www.youtube.com/watch?v=JuoVZkPBiKk&list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV)
- Consulta los repositorios de GitHub. El código inicial de las prácticas está publicado en la organización del proyecto en GitHub: Acceder a Stanford CS336 en GitHub. Desde la página oficial también están enlazadas las cinco asignaciones, con sus respectivos materiales.
- Sigue las cinco asignaciones prácticas. Las actividades están organizadas para avanzar desde los componentes básicos de un Transformer hasta el entrenamiento, los sistemas, el escalado, los datos y el postentrenamiento. La primera asignación desarrolla el modelo inicial. Las siguientes profundizan en su eficiencia, el análisis de escalado, la preparación del corpus y las técnicas de alineación y razonamiento.
- Comprueba el código en CPU antes de utilizar GPU. La propia página de Stanford recomienda depurar primero la corrección de las implementaciones utilizando CPU. Después, las GPU pueden emplearse para los entrenamientos y las pruebas de rendimiento que requieren aceleración. La universidad también ofrece información sobre servicios de GPU en la nube para quienes realizan el curso por su cuenta.
Cuánto cuesta utilizar GPU para las prácticas
El acceso a los vídeos y a los materiales es gratuito. Para completar determinadas prácticas, Stanford contempla el alquiler de capacidad de cálculo en la nube. La página oficial presenta una comparación de precios públicos de GPU NVIDIA B200, con fecha del 28 de marzo de 2026.
| Proveedor | Precio publicado | Condiciones indicadas |
|---|---|---|
| Modal | 6,25 USD/hora | Patrocinador del curso; ofrece 30 USD mensuales de cómputo gratuito |
| Lambda Labs | 6,69 USD/hora | Tarifa publicada para una GPU B200 |
| RunPod | 4,99 USD/hora | Tarifa publicada para una GPU B200 |
| Nebius | 5,50 USD/hora | Opción preemptible de 3,05 USD/hora |
| Together | 7,49 USD/hora | Contratación mínima de 8 GPU; condiciones más económicas para compromisos prolongados |
Estos importes corresponden a la referencia publicada por Stanford en marzo de 2026. En el caso de Together, el precio por hora indicado está sujeto a un mínimo de ocho GPU. La recomendación del curso es comprobar primero que el código funciona correctamente en CPU y utilizar las GPU posteriormente para el entrenamiento o las pruebas de rendimiento.
CS336 en contexto
CS336: Language Modeling from Scratch es una asignatura de cinco unidades de la Universidad de Stanford, impartida en primavera de 2026 por Percy Liang, profesor de Informática, y Tatsunori Hashimoto, profesor asistente de Informática. Su propuesta académica se centra en enseñar a desarrollar modelos de lenguaje mediante la implementación de sus componentes, la preparación de datos, el entrenamiento y la evaluación.
De utilizar modelos a comprender cómo se construyen
CS336 ofrece un recorrido técnico por las principales etapas de construcción de un modelo de lenguaje. La combinación de explicaciones, código inicial, apuntes y prácticas permite estudiar desde los componentes de un Transformer hasta los mecanismos que hacen posible su entrenamiento y postentrenamiento. Su enfoque resulta especialmente relevante para quienes ya trabajan con Python, PyTorch y aprendizaje profundo, y quieren comprender cómo se desarrollan los modelos desde una perspectiva de ingeniería. Con los materiales disponibles públicamente, el curso de Stanford constituye un recurso gratuito para estudiar la implementación de modelos de lenguaje y los sistemas necesarios para entrenarlos.
