Los modelos de inteligencia artificial capaces de razonar se han convertido en una pieza importante de los sistemas modernos de IA. Pero ¿qué hay detrás de su funcionamiento y cómo se puede transformar un modelo de lenguaje convencional en uno que mejore sus respuestas mediante técnicas de razonamiento?
Sebastian Raschka, investigador y autor especializado en aprendizaje profundo, ha publicado Build Your Own Reasoning Model: A Full Video Course, un curso compuesto por ocho vídeos que suman aproximadamente 11 horas de contenido. El material acompaña su libro Build a Reasoning Model (From Scratch) y recorre las principales técnicas utilizadas para desarrollar modelos de razonamiento.
El curso utiliza Python, PyTorch y Qwen3 0.6B, un modelo de lenguaje pequeño previamente entrenado. A partir de esa base, muestra cómo implementar mecanismos de evaluación, mejorar las respuestas durante la inferencia y aplicar aprendizaje por refuerzo con recompensas verificables.
El objetivo no es entrenar un modelo de lenguaje desde cero, sino comprender cómo convertir un LLM existente en un sistema capaz de desarrollar y mejorar su razonamiento.
Qué es un modelo de razonamiento y en qué se diferencia de un agente de IA
Un modelo de razonamiento sigue siendo un modelo de lenguaje de gran tamaño (LLM), pero incorpora técnicas adicionales de entrenamiento que buscan mejorar su capacidad para resolver problemas.
Según la explicación de Raschka, una de las principales diferencias está en el postentrenamiento mediante aprendizaje por refuerzo con recompensas verificables, conocido como RLVR.
Esta técnica permite utilizar señales de recompensa para orientar el comportamiento del modelo hacia respuestas que cumplen criterios comprobables, como ocurre con determinados problemas matemáticos o de programación.
También puede complementarse con técnicas de escalado durante la inferencia, que permiten dedicar más recursos de generación a explorar posibles soluciones.
Aunque estas capacidades suelen asociarse con matemáticas y código, el enfoque puede extenderse a otros ámbitos.
El modelo es el motor; el agent harness es el sistema que lo rodea
El curso también distingue entre un modelo de razonamiento y un agente de IA.
El modelo de razonamiento funciona como el motor encargado de generar respuestas y resolver problemas. Por su parte, el agent harness es la infraestructura que organiza su funcionamiento dentro de un sistema más amplio.
Este entorno se ocupa de gestionar el contexto y las herramientas que utiliza el modelo. De esta manera, las capacidades de razonamiento pueden integrarse en agentes que interactúan con recursos externos.
La distinción es importante: mejorar el razonamiento del modelo y construir la infraestructura de un agente son tareas relacionadas, pero diferentes.
Qué enseña el curso de Sebastian Raschka: los ocho vídeos
El programa sigue una progresión que comienza con los fundamentos de los modelos de lenguaje y termina con técnicas de entrenamiento y destilación.
Cada vídeo desarrolla una parte del sistema que se va construyendo.
1. Introducción a los modelos de razonamiento y preparación del entorno
El primer vídeo explica la relación entre tres conceptos: los modelos de lenguaje convencionales, los modelos de razonamiento y los agentes de inteligencia artificial.
A continuación, se centra en preparar el entorno de desarrollo necesario para trabajar con los ejemplos.
Entre los temas abordados están:
- Instalación de dependencias mediante uv.
- Requisitos de hardware para ejecutar los ejemplos.
- Uso de CUDA y equipos con Apple Silicon.
- Configuración de una GPU remota mediante VS Code.
Esta primera parte establece tanto los fundamentos conceptuales como el entorno técnico para seguir el resto del curso.
2. Cargar Qwen3 y optimizar la generación de texto
El segundo vídeo comienza el trabajo práctico con Qwen3 0.6B, el modelo de lenguaje que sirve como punto de partida.
La explicación se concentra en los mecanismos que intervienen cuando un LLM genera texto y en diferentes técnicas relacionadas con su ejecución.
Se abordan tres elementos principales:
- Generación mediante streaming: permite trabajar con el texto producido progresivamente por el modelo.
- Caché KV: mecanismo utilizado durante la generación de tokens.
- torch.compile: función de PyTorch presentada dentro del apartado de optimización.
Con esta base, el curso prepara el modelo para los siguientes experimentos relacionados con razonamiento y evaluación.
3. Construir un verificador matemático y evaluar con MATH-500
Antes de entrenar un modelo mediante recompensas verificables, es necesario disponer de un mecanismo que permita evaluar sus respuestas.
El tercer vídeo desarrolla un verificador de respuestas matemáticas paso a paso.
También introduce la evaluación mediante MATH-500, un conjunto de problemas matemáticos utilizado para medir el rendimiento del modelo.
Este componente cumple dos funciones dentro del recorrido: permite evaluar las respuestas generadas y posteriormente sirve como señal de recompensa durante el aprendizaje por refuerzo.
Así, el sistema dispone de un criterio con el que relacionar las respuestas del modelo y los resultados obtenidos.
4. Mejorar el razonamiento durante la inferencia
El cuarto vídeo se dedica al escalado en inferencia, un conjunto de técnicas que actúan durante la generación de respuestas.
En lugar de modificar directamente los parámetros del modelo mediante entrenamiento, este apartado analiza cómo diferentes estrategias de generación pueden afectar la calidad de los resultados.
Los conceptos tratados son:
- Temperatura: controla el comportamiento del muestreo.
- Muestreo multinomial: permite seleccionar tokens según sus probabilidades.
- Top-p: restringe las opciones consideradas durante la generación.
- Autoconsistencia: combina varias respuestas mediante votación mayoritaria.
El vídeo también examina la relación entre el coste computacional y la precisión.
De esta manera, muestra cómo la selección y combinación de respuestas forma parte de las técnicas utilizadas para mejorar el desempeño de un modelo de razonamiento.
5. Puntuación de respuestas y autorrefinamiento
El quinto vídeo introduce mecanismos para evaluar y revisar las respuestas generadas.
Primero se estudian las funciones de puntuación, junto con las probabilidades asociadas a los tokens y a las secuencias completas.
Estos conceptos permiten analizar las salidas del modelo desde una perspectiva probabilística.
Después, el curso desarrolla un bucle de autorrefinamiento, basado en dos operaciones: crítica y revisión.
El modelo genera una respuesta, la somete a una etapa de crítica y utiliza esa información para producir una versión revisada.
Este apartado conecta la generación de texto con procedimientos que permiten examinar y modificar los resultados.
6. Entrenar con RLVR y una versión simplificada de GRPO
El sexto vídeo constituye una de las partes centrales del recorrido: el entrenamiento mediante aprendizaje por refuerzo con recompensas verificables (RLVR).
Para implementarlo, Raschka utiliza una versión simplificada de GRPO.
El procedimiento trabaja con grupos de respuestas generadas por el modelo y utiliza recompensas relativas para orientar el entrenamiento.
El contenido incluye:
- Generación de grupos de respuestas.
- Cálculo de recompensas relativas.
- Construcción del bucle de entrenamiento.
- Registro de información durante el proceso.
- Creación de puntos de control del entrenamiento.
Esta etapa utiliza los fundamentos de evaluación y generación presentados en los vídeos anteriores para desarrollar un procedimiento de entrenamiento orientado al razonamiento.
7. Analizar el entrenamiento y los riesgos de las recompensas
El séptimo vídeo profundiza en el comportamiento del entrenamiento y en los elementos que influyen en su estabilidad.
La explicación incluye conceptos como:
- Entropía: relacionada con la distribución de probabilidades del modelo.
- Ventajas: utilizadas en el aprendizaje por refuerzo.
- Recorte de ratios: mecanismo aplicado durante la optimización.
- Término KL: componente relacionado con las diferencias entre distribuciones.
- Recompensas de formato: utilizadas para valorar características estructurales de las respuestas.
También se estudia el fenómeno conocido como reward hacking, que aparece cuando un sistema aprende a aprovechar los criterios de recompensa de una manera que no coincide con el objetivo buscado.
Esta parte complementa el entrenamiento del vídeo anterior con herramientas conceptuales para comprender su evolución y los problemas que pueden surgir.
8. Destilación: aprender de un modelo más grande
El último vídeo introduce la destilación de modelos, una técnica mediante la cual un modelo más pequeño aprende a partir de otro de mayor tamaño.
En este enfoque, el modelo grande actúa como maestro y proporciona información que sirve para entrenar al modelo estudiante.
La destilación completa el recorrido del curso al presentar otra estrategia para transferir capacidades a un modelo de lenguaje.
Con ello, el programa reúne técnicas de inferencia, evaluación, aprendizaje por refuerzo y aprendizaje a partir de modelos maestros.
Requisitos para seguir el curso y qué hardware se necesita
El material está orientado a personas que ya tienen experiencia programando en Python y trabajando con PyTorch.
Raschka recomienda como preparación su curso anterior dedicado a construir modelos de lenguaje desde cero, aunque no es obligatorio haberlo completado.
En cuanto al hardware, los primeros ejemplos pueden ejecutarse utilizando una CPU.
Sin embargo, para las partes dedicadas al entrenamiento resulta conveniente disponer de una GPU.
El propio curso aborda diferentes configuraciones de hardware, incluyendo CUDA, Apple Silicon y la posibilidad de trabajar con una GPU remota a través de VS Code.
La elección de Qwen3 0.6B como modelo base permite concentrar el recorrido en las técnicas de postentrenamiento y razonamiento sin tener que comenzar por el entrenamiento inicial de un LLM.
Cómo combinar el libro, los vídeos y los ejercicios
El curso está diseñado como acompañamiento del libro Build a Reasoning Model (From Scratch), de Sebastian Raschka.
Ambos materiales giran alrededor de un mismo objetivo: comprender los mecanismos que permiten desarrollar modelos de razonamiento a partir de modelos de lenguaje existentes.
Los ocho vídeos aportan una explicación práctica de los componentes y procedimientos de implementación en Python y PyTorch, mientras que el libro funciona como material complementario para estudiar los conceptos.
El recorrido también permite relacionar los ejercicios de implementación con las diferentes etapas: desde la carga de Qwen3 y la evaluación matemática hasta el entrenamiento con GRPO y la destilación.
El libro está disponible a través de Manning y Amazon, y cuenta con una edición impresa en color.
Un curso previo de 90 minutos para comprender los conceptos
Raschka también recomienda una introducción más breve sobre modelos de razonamiento disponible en LinkedIn Learning.
Se trata de un curso de aproximadamente 90 minutos, planteado como una vista previa conceptual antes de profundizar en los contenidos técnicos.
Según la publicación, es posible acceder gratuitamente durante 24 horas mediante el enlace proporcionado por el autor, sin necesidad de una suscripción Premium.
Dónde encontrar el curso completo
El programa de ocho vídeos y 11 horas está presentado en la publicación Build Your Own Reasoning Model: A Full Video Course, publicada por Sebastian Raschka el 24 de octubre de 2026 en Ahead of AI.
Desde esa publicación se puede consultar el material que acompaña al libro y el recorrido completo de aprendizaje.
El curso reúne en un mismo itinerario las principales piezas necesarias para comprender cómo se desarrolla un modelo de razonamiento: generación de texto, verificación de respuestas, escalado en inferencia, autorrefinamiento, aprendizaje por refuerzo y destilación.
Su planteamiento permite estudiar estas técnicas sobre un modelo previamente entrenado, conectando los fundamentos de los LLM con los procedimientos utilizados para mejorar sus capacidades de razonamiento.
