Un equipo de investigadores de Polymathic AI, Princeton, USC ISI, NYU y Flatiron Institute ha presentado FlashMap, una nueva propuesta para acelerar la generación de texto de los modelos de lenguaje mediante decodificación especulativa.
Según los resultados publicados por sus autores y recogidos por MarkTechPost el 28 de octubre de 2026, FlashMap consigue hasta 6,14 veces de aceleración sin pérdida en el benchmark matemático GSM8K utilizando Qwen3-8B.
La principal innovación consiste en sustituir el modelo auxiliar de difusión discreta por un mapa de flujo continuo. Este enfoque permite proponer un bloque completo de 16 tokens mediante una sola pasada hacia adelante, manteniendo la coherencia entre los tokens generados.
En las evaluaciones con Qwen3-8B, FlashMap se posiciona como el drafter más rápido entre los sistemas probados por los investigadores, con una ventaja media aproximada del 7 % frente a una versión reentrenada de DFlash.
Qué es FlashMap y cómo funciona
FlashMap es un drafter, es decir, un modelo auxiliar utilizado en decodificación especulativa para proponer tokens que posteriormente pueden ser aceptados por el modelo objetivo.
Su diseño se diferencia de los métodos basados en difusión discreta porque utiliza un mapa de flujo continuo para generar las propuestas.
En lugar de depender de un proceso de difusión discreta para construir las predicciones, FlashMap propone conjuntamente los 16 tokens de un bloque en una única pasada hacia adelante.
El objetivo es que las propuestas formen una continuación coherente, aumentando la cantidad de tokens que pueden aceptarse y reduciendo el trabajo necesario para producirlos.
Esta característica es especialmente relevante porque la rapidez de un drafter, por sí sola, no determina el resultado de la decodificación especulativa. También importa cuántos de sus tokens propuestos terminan siendo aceptados.
El problema de los modelos de difusión: cuando se mezclan continuaciones incompatibles
Los investigadores explican una de las dificultades de los drafters basados en difusión mediante un ejemplo sencillo.
Supongamos que existen dos continuaciones posibles:
- new york
- san diego
Ambas secuencias son coherentes por separado. Sin embargo, si el proceso de generación mezcla las predicciones correspondientes a distintas continuaciones, puede terminar produciendo:
- new diego
El resultado combina fragmentos de dos alternativas diferentes.
Este fenómeno ilustra cómo un drafter de difusión puede generar secuencias cuyos tokens individuales proceden de modos distintos de la distribución de continuaciones.
Cuando el bloque resultante pierde coherencia, disminuye la longitud de aceptación de las propuestas.
FlashMap aborda este problema seleccionando conjuntamente el modo de generación para todo el bloque.
Así, en lugar de combinar fragmentos de continuaciones incompatibles, busca mantener una misma alternativa coherente a lo largo de los tokens propuestos.
Esta es una de las diferencias fundamentales entre su enfoque de flujo continuo y los drafters de difusión discreta que utiliza como referencia.
Resultados: hasta 6,14x de aceleración con Qwen3-8B
Las pruebas reportadas por los investigadores muestran que FlashMap supera a DFlash y EAGLE-3 en las comparaciones principales realizadas con Qwen3-8B.
Con temperatura 0, FlashMap alcanza una aceleración media de 4,36x, frente a 4,07x de DFlash y 2,55x de EAGLE-3.
Comparación de aceleración promedio con Qwen3-8B
| Método | Aceleración media | Temperatura |
|---|---|---|
| FlashMap | 4,36x | 0 |
| DFlash | 4,07x | 0 |
| EAGLE-3 | 2,55x | 0 |
Fuente: resultados reportados por los autores de FlashMap.
Los investigadores señalan que FlashMap es el drafter más rápido evaluado en Qwen3-8B y que obtiene una ventaja media cercana al 7 % frente a DFlash reentrenado.
Resultados en GSM8K
El mayor incremento de velocidad reportado aparece en GSM8K, una evaluación de razonamiento matemático.
| Método | Aceleración en GSM8K | Temperatura |
|---|---|---|
| FlashMap | 6,14x | 0 |
| DFlash | 5,77x | 0 |
| EAGLE-3 | 3,20x | 0 |
Fuente: resultados reportados por los autores de FlashMap.
En esta configuración, FlashMap alcanza una longitud de aceptación de 7,69 tokens y una aceleración de 6,14 veces sin pérdida.
Los datos sitúan a FlashMap por encima de los otros dos métodos comparados, tanto en el resultado medio de Qwen3-8B como en el caso específico de GSM8K.
El escenario menos favorable: Alpaca con temperatura 1
Los resultados también muestran diferencias según la tarea y la temperatura utilizada.
El menor incremento de velocidad reportado para FlashMap corresponde a Alpaca con temperatura 1.
| Configuración | Aceleración de FlashMap |
|---|---|
| GSM8K, temperatura 0 | 6,14x |
| Promedio Qwen3-8B, temperatura 0 | 4,36x |
| Alpaca, temperatura 1 | 2,28x |
Estas cifras corresponden a los escenarios comunicados por los investigadores y muestran cómo varía el rendimiento entre configuraciones.
Más tokens aceptados: comparación directa con DFlash
Además de medir la aceleración, los autores compararon la longitud de aceptación de FlashMap frente a DFlash.
Esta métrica refleja cuántos tokens de las propuestas especulativas pueden aceptarse.
Los resultados favorecen a FlashMap en la mayoría de las configuraciones analizadas cuando utiliza una pasada y en todas las configuraciones consideradas cuando utiliza dos.
Comparación de longitud de aceptación
| Configuración de FlashMap | Configuraciones donde supera a DFlash | Ventaja media reportada |
|---|---|---|
| 1 paso | 15 de 18 | — |
| 2 pasos | 18 de 18 | 10 % |
Fuente: resultados reportados por los autores de FlashMap.
Con una sola pasada, FlashMap supera a DFlash en longitud de aceptación en 15 de las 18 configuraciones.
Al utilizar dos pasos, la ventaja se extiende a las 18 configuraciones, con una mejora media del 10 %.
Los resultados respaldan el planteamiento de los investigadores: generar propuestas coherentes para todo el bloque puede favorecer la aceptación de tokens.
Diferencias de rendimiento entre Qwen3-8B y Qwen3-4B
FlashMap también cuenta con una versión adaptada a Qwen3-4B.
Sin embargo, sus resultados no son idénticos a los observados con Qwen3-8B.
En las evaluaciones con Qwen3-4B y temperatura 0, FlashMap queda por detrás de DFlash en cuatro de las nueve tareas consideradas.
| Modelo objetivo | Resultado comparativo reportado |
|---|---|
| Qwen3-8B | FlashMap es el drafter más rápido probado, con una ventaja media aproximada del 7 % frente a DFlash reentrenado |
| Qwen3-4B, temperatura 0 | FlashMap queda por detrás de DFlash en 4 de 9 tareas |
Estos resultados indican que las diferencias de rendimiento entre ambos métodos dependen también del modelo objetivo y de las tareas evaluadas.
Arquitectura: un drafter de aproximadamente 500 millones de parámetros
Aunque FlashMap trabaja junto a modelos como Qwen3-8B, su propia arquitectura utiliza un número considerablemente menor de parámetros.
El sistema emplea un transformador de difusión de seis bloques con dimensión interna de 2048 y 16 cabezas de atención.
Características técnicas del drafter
| Característica | Especificación |
|---|---|
| Arquitectura | Transformador de difusión |
| Bloques | 6 |
| Dimensión | 2048 |
| Cabezas de atención | 16 |
| Tokens propuestos por pasada | 16 |
| Parámetros del drafter para Qwen3-8B | 500 millones |
| Parámetros del drafter para Qwen3-4B | 475 millones |
| Capas del modelo objetivo consultadas | 1, 9, 17, 25 y 33 |
FlashMap utiliza estados ocultos de cinco capas del modelo objetivo: 1, 9, 17, 25 y 33.
Además, copia del modelo objetivo la matriz de embeddings y la capa de salida de lenguaje, conocida como LM head.
Ambos componentes permanecen congelados durante el entrenamiento.
La combinación permite que el drafter aproveche representaciones internas del modelo objetivo mientras aprende a construir sus propuestas mediante el enfoque de flujo continuo.
Entrenamiento en dos etapas: Flow Teacher y Flow Map Student
Los investigadores organizaron el entrenamiento de FlashMap en dos etapas.
La primera corresponde al Flow Teacher, mientras que la segunda utiliza un Flow Map Student, entrenado mediante destilación.
Este procedimiento forma parte del diseño con el que FlashMap aprende a producir sus propuestas de tokens.
Para el entrenamiento se utilizaron 500.000 muestras de Open-PerfectBlend.
Datos de entrenamiento reportados
| Elemento | Detalle |
|---|---|
| Primera etapa | Flow Teacher |
| Segunda etapa | Flow Map Student |
| Método de la segunda etapa | Destilación |
| Conjunto de datos | Open-PerfectBlend |
| Muestras | 500.000 |
| Cómputo total | Aproximadamente 4.600 horas GPU |
| GPU utilizada | NVIDIA H200 |
Según los autores, el entrenamiento completo requirió aproximadamente 4.600 horas GPU en hardware H200.
Estas cifras corresponden al proceso de preparación del drafter y son independientes de la configuración empleada para evaluar su velocidad de generación.
Hardware y condiciones de las pruebas
Los investigadores realizaron sus evaluaciones de rendimiento utilizando una única GPU NVIDIA H200 NVL.
La configuración mantuvo una concurrencia de uno y utilizó precisión bf16.
| Parámetro de evaluación | Configuración |
|---|---|
| GPU | 1 NVIDIA H200 NVL |
| Concurrencia | 1 |
| Precisión numérica | bf16 |
| Modelos objetivo | Qwen3-8B y Qwen3-4B |
Estas condiciones corresponden al entorno experimental utilizado para obtener los resultados reportados.
FlashMap está disponible para Qwen3 y se integra con vLLM y SGLang
El proyecto dispone de pesos publicados en Hugging Face para sus versiones compatibles con Qwen3-8B y Qwen3-4B.
Los investigadores también ofrecen código y compatibilidad mediante plugins para los sistemas de inferencia vLLM y SGLang.
La distribución distingue entre las licencias del código y de los pesos.
| Componente | Disponibilidad o licencia |
|---|---|
| Pesos para Qwen3-8B | Hugging Face |
| Pesos para Qwen3-4B | Hugging Face |
| Licencia de los pesos | Apache-2.0 |
| Licencia del código | MIT |
| Integraciones | vLLM y SGLang |
Instalación y configuraciones de integración
FlashMap se distribuye como paquete instalable mediante uv.
El comando de instalación indicado es:
uv pip install flashmap
El proyecto también contempla configuraciones específicas para los dos motores de inferencia compatibles.
| Motor | Versión | Configuración indicada |
|---|---|---|
| vLLM | 0.31 | --speculative-config |
| vLLM | 0.31 | num_speculative_tokens 16 |
| SGLang | 0.5.20 | --speculative-algorithm DSPARK |
En vLLM 0.31, la integración utiliza la configuración de decodificación especulativa y establece un bloque de 16 tokens mediante num_speculative_tokens.
Para SGLang 0.5.20, la integración utiliza el algoritmo identificado como DSPARK.
Estas opciones forman parte de las integraciones de FlashMap descritas para ambos sistemas.
En contexto
FlashMap es un proyecto desarrollado por investigadores de Polymathic AI, Princeton, USC ISI, NYU y Flatiron Institute.
Su propuesta reemplaza el drafter de difusión discreta por un mapa de flujo continuo para producir bloques coherentes de tokens en decodificación especulativa.
El proyecto cuenta con pesos para Qwen3-8B y Qwen3-4B en Hugging Face, código bajo licencia MIT, pesos bajo Apache-2.0 e integraciones con vLLM y SGLang.
Los resultados técnicos y las comparaciones de rendimiento fueron publicados por sus autores y recogidos en el artículo de MarkTechPost del 28 de octubre de 2026.
