Uno de los desafíos de los grandes modelos de lenguaje (LLM) es incorporar conocimientos nuevos sin deteriorar las capacidades que ya adquirieron. Aunque estos sistemas pueden utilizar información proporcionada durante una conversación, conservar ese aprendizaje de manera permanente plantea dificultades importantes.
Google Research presentó el 27 de octubre de 2026 una propuesta de investigación denominada «sleep framework» o «marco del sueño», que busca abordar este problema mediante un proceso inspirado en la forma en que el cerebro humano consolida los recuerdos durante el descanso.
La idea consiste en alternar períodos de actividad, en los que el modelo recibe información, con períodos de consolidación, en los que reorganiza lo aprendido y actualiza determinados parámetros internos.
Según los resultados publicados por Google Research, este enfoque permitió conservar información procedente de contextos de hasta 10 millones de tokens y obtener mejoras en tareas de traducción, incorporación de conocimientos y razonamiento matemático.
El trabajo se presenta como un nuevo paradigma de investigación para el aprendizaje continuo de modelos de lenguaje, no como un producto comercial lanzado.
El problema: por qué los modelos de lenguaje olvidan lo aprendido
Los LLM actuales permanecen mayormente estáticos después de su despliegue. Sus conocimientos están asociados a una fecha de corte y la incorporación de información adicional mediante actualizaciones de parámetros puede provocar un fenómeno conocido como olvido catastrófico.
Este problema aparece cuando un modelo aprende tareas nuevas, pero el proceso perjudica significativamente los conocimientos y habilidades que había adquirido anteriormente.
Una alternativa es el aprendizaje en contexto, conocido como In-Context Learning (ICL), que permite utilizar información incluida en las entradas del modelo.
Sin embargo, este mecanismo depende de la ventana de contexto disponible. Cuando termina la sesión, la información temporal deja de estar disponible para el modelo.
El marco propuesto por Google Research intenta combinar ambos enfoques: aprovechar la flexibilidad de una memoria temporal y trasladar progresivamente los conocimientos importantes a componentes más estables.
Cómo funciona el marco del sueño de Google Research
La propuesta organiza el aprendizaje mediante dos fases que se alternan: una de actividad y otra de consolidación.
Fase activa: recibir información y crear memoria temporal
Durante la fase de vigilia, el modelo procesa las entradas que recibe e interactúa con ellas.
La información se almacena temporalmente en componentes de memoria rápida, diseñados para conservar conocimientos a corto plazo.
Esta etapa permite adquirir información nueva antes de incorporarla a mecanismos de almacenamiento más duraderos.
Fase de sueño: consolidar conocimientos y actualizar parámetros
En la fase de sueño, el sistema interrumpe la recepción de información nueva y utiliza sus recursos de cómputo para consolidar lo aprendido.
Durante este proceso sin conexión, el modelo habilita bloques de memoria previamente asignados dentro de una arquitectura Mixture-of-Experts (MoE), o mezcla de expertos.
Estos componentes actualizan sus pesos numéricos utilizando ejemplos de práctica generados por el propio sistema.
El objetivo es transferir los conocimientos de la memoria temporal hacia parámetros que puedan conservarlos a largo plazo.
Todo el procedimiento funciona dentro de una arquitectura fija y de reglas de entrenamiento establecidas por investigadores humanos. Los términos relacionados con dormir o soñar describen mecanismos computacionales inspirados en la neurociencia.
Dos mecanismos para convertir recuerdos temporales en conocimiento estable
Google Research plantea dos mecanismos complementarios para consolidar información sin alterar directamente los conocimientos anteriores.
1. Expansión de parámetros y jerarquía de memoria continua
El primer mecanismo utiliza una estructura jerárquica de memoria que distingue entre componentes de actualización frecuente y otros más estables.
Para incorporar conocimientos nuevos, el sistema introduce expertos de bajo rango que pueden integrarse en bloques de memoria de baja frecuencia.
De esta manera, la arquitectura dispone de capacidad adicional para almacenar información reciente mientras preserva los parámetros utilizados para conocimientos anteriores.
La expansión de parámetros permite organizar progresivamente la memoria en distintos niveles de estabilidad.
2. Siembra de conocimiento y destilación ascendente
El segundo mecanismo transfiere información desde las capas de memoria temporal de alta frecuencia hacia los parámetros de memoria a largo plazo.
Para conseguirlo, Google Research combina la destilación generalizada del conocimiento (GKD) con un procedimiento de aprendizaje por imitación basado en aprendizaje por refuerzo.
La destilación utiliza un esquema on-policy, en el que el modelo aprende a reproducir el comportamiento de un modelo profesor.
Durante el entrenamiento, el sistema completa prefijos de texto generado por ese profesor y recibe recompensas basadas en la similitud entre sus respuestas.
La evaluación contempla similitud semántica, similitud absoluta y distancia de Levenshtein, una medida utilizada para comparar secuencias de texto.
Este proceso, denominado learning to imitate, busca trasladar información adquirida recientemente hacia componentes capaces de conservarla durante períodos más prolongados.
Poda sináptica para recuperar capacidad
Después de consolidar la memoria, el sistema realiza una etapa denominada poda sináptica.
En ella, los parámetros temporales de alta frecuencia se reinician para liberar capacidad y permitir la incorporación de nuevos conocimientos durante posteriores fases de actividad.
El papel de los «sueños» en la automejora del modelo
Además de consolidar recuerdos, el marco contempla un mecanismo de automejora denominado dreaming, que utiliza información generada por el propio modelo.
Este procedimiento reúne tres operaciones.
Selección aleatoria de expertos. El enrutador MoE activa combinaciones de expertos diferentes de las habituales, mezclando conocimientos de distintos dominios para explorar patrones latentes.
Ensayo curado. El modelo produce ejemplos sintéticos denominados «sueños». Posteriormente, utiliza selección de datos basada en gradiente para identificar aquellos con mayor potencial de aprendizaje.
Refinamiento mediante aprendizaje por refuerzo. Los ejemplos mejor valorados se utilizan en una etapa de ajuste fino supervisado. Después se evalúa si el proceso mejora el rendimiento del sistema en tareas posteriores.
En conjunto, estos mecanismos buscan aprovechar los períodos de consolidación para reforzar capacidades existentes y explorar nuevas relaciones entre conocimientos.
Resultados: retención de hasta 10 millones de tokens
Google Research presentó evaluaciones del marco en distintas tareas de aprendizaje continuo.
Los resultados comunicados por los investigadores abarcan traducción a idiomas no vistos previamente, comprensión de contextos extensos, incorporación de conocimientos factuales y razonamiento matemático.
Traducción continua con menor pérdida de conocimientos
En las pruebas de aprendizaje continuo de traducción, los investigadores utilizaron dos idiomas que el modelo no había visto anteriormente: manchú y kalamang.
Según el estudio, el marco del sueño mantuvo una caída de rendimiento prácticamente nula durante las evaluaciones realizadas por etapas.
En comparación, los métodos utilizados como referencia, entre ellos ICL, Cartridges y el ajuste fino supervisado (SFT), experimentaron un olvido catastrófico considerable.
Estos resultados respaldan la capacidad del método para incorporar información nueva y preservar el rendimiento adquirido durante las distintas etapas del experimento.
Comprensión de contexto largo: hasta 10 millones de tokens
Los investigadores también evaluaron el sistema mediante BABILong, un benchmark de comprensión de contextos extensos.
En estas pruebas, el marco mostró un escalado descrito por Google Research como casi perfecto hasta alcanzar los 10 millones de tokens.
El rendimiento reportado superó al de los métodos de referencia utilizados en la comparación, incluidos GPT-4 y Titans.
La evaluación se relaciona directamente con uno de los objetivos centrales de la investigación: conservar conocimientos procedentes de secuencias extensas mediante mecanismos de memoria a largo plazo.
Incorporación de conocimiento factual
Para analizar la adquisición de información factual, Google Research utilizó SQuAD y pruebas de preentrenamiento continuo, conocido como Continued Pre-Training (CPT).
Los resultados comunicados fueron los siguientes:
- Aprendizaje de tarea única: 48,9 %
- Preentrenamiento continuo (CPT): 46,2 %
Según los investigadores, el marco superó al modelo base y a los métodos SFT y SEAL en estas evaluaciones.
Mejoras en razonamiento matemático
El equipo también evaluó el impacto de la fase de sueño sobre el razonamiento matemático utilizando AIME 2024, AIME 2025 y HMMT 2025.
El modelo base mejorado mediante el marco obtuvo los siguientes resultados:
- AIME 2024: 79,2 %
- AIME 2025: 69,0 %
- HMMT 2025: 46,1 %
De acuerdo con Google Research, estos resultados fueron superiores a los obtenidos mediante ajuste fino supervisado (SFT), GRPO y OPSD en las comparaciones presentadas.
Las cifras corresponden a las evaluaciones publicadas por el propio equipo investigador y describen el rendimiento del enfoque dentro de esos experimentos.
Google Research en contexto
La investigación fue realizada por Ali Behrouz, de Google y Cornell University; Farnoosh Hashemi, de Cornell University; Adel Javanmard, de Google y University of Southern California; y Vahab Mirrokni.
El trabajo fue presentado por Google Research el 27 de octubre de 2026 bajo el título The sleep framework: A new way for LLMs to retain knowledge in continual learning.
Un enfoque para investigar el aprendizaje continuo de la IA
El marco del sueño plantea una forma diferente de organizar el aprendizaje de los modelos de lenguaje.
En lugar de depender exclusivamente de actualizaciones generales de parámetros o de información limitada a una sesión, la propuesta distingue entre adquirir conocimientos temporalmente, consolidarlos y liberar capacidad para experiencias posteriores.
Su arquitectura combina expertos especializados, destilación de conocimientos, poda de parámetros temporales y generación de datos sintéticos durante fases de consolidación.
Los resultados reportados por Google Research muestran el potencial de esta línea de investigación para abordar el olvido catastrófico y mejorar la conservación de información en distintas tareas.
La propuesta también introduce una vía de automejora mediante ejemplos generados internamente, siempre dentro de una arquitectura fija y de procedimientos definidos por humanos.
El planteamiento sitúa la consolidación de memoria como un componente central de la investigación sobre sistemas de IA capaces de seguir aprendiendo después de su entrenamiento inicial.
