Baidu presenta ERNIE 5.5 Flash Base con pesos disponibles para investigacion y adaptacion
Baidu anuncio el 5 de noviembre de 2026 la publicacion de ERNIE 5.5 Flash Base, un modelo de lenguaje de solo texto basado en una arquitectura dispersa de mezcla de expertos (Mixture-of-Experts, MoE), con 280.000 millones de parametros totales y 14.000 millones activados por cada token procesado.
El lanzamiento corresponde al checkpoint obtenido al finalizar el preentrenamiento. Esto significa que el modelo todavia no ha pasado por etapas de entrenamiento intermedio (mid-training) ni post-entrenamiento (post-training).
La compania plantea esta version como un punto de partida comun para proyectos de adaptacion a dominios especializados, ajuste mediante instrucciones (instruction tuning) e investigacion sobre aprendizaje por refuerzo (reinforcement learning).
Los pesos se encuentran publicados en Hugging Face y ModelScope bajo una licencia especifica de Baidu, con restricciones de uso y distribucion.
Segun los resultados autoinformados por la compania, ERNIE 5.5 Flash Base obtiene la mejor puntuacion en 24 de los 30 benchmarks incluidos en su evaluacion unificada frente a tres modelos base comparables.
Una arquitectura MoE con 43 capas y atencion hibrida
ERNIE 5.5 Flash Base utiliza una arquitectura Transformer de 43 capas, distribuidas en una capa densa y 42 capas MoE.
Su configuracion incluye un tamano oculto de 4.096 dimensiones, 64 cabezas de atencion y un vocabulario de 201.216 entradas.
Una de sus caracteristicas principales es la combinacion de dos mecanismos de atencion:
- Heavily Compressed Attention (HCA): presente en 37 capas, comprime el historial almacenado a una entrada por cada 128 tokens.
- Multi-head Latent Attention con atencion dispersa (MLA + DSA): utilizado en las otras seis capas para trabajar con informacion del contexto mediante atencion latente y dispersa.
El sistema MoE incorpora 512 expertos enrutados por capa, de los cuales selecciona los 10 principales (top-10), ademas de un experto compartido.
Estos expertos trabajan en un espacio latente de 2.048 dimensiones.
Baidu tambien introduce Multi-Router Latent MoE, un mecanismo que reemplaza el enrutador unico convencional por varios enrutadores sigmoid independientes para realizar la seleccion de expertos.
Con esta arquitectura, el modelo combina una gran cantidad de parametros disponibles con la activacion de una fraccion de ellos durante el procesamiento de cada token.
ECHO reemplaza la prediccion multitoken convencional
Otra caracteristica tecnica destacada es ECHO, el mecanismo utilizado por Baidu en lugar de los modulos convencionales de prediccion multitoken (Multi-Token Prediction, MTP).
ECHO reutiliza la ultima capa del modelo para predecir tokens futuros, en lugar de incorporar un modulo MTP separado.
Esa misma capa funciona como modelo de borrador integrado para la decodificacion especulativa.
Segun la configuracion publicada, ECHO anade aproximadamente 0,36 mil millones de parametros adicionales, que quedan excluidos del recuento principal de 280.000 millones de parametros totales y 14.000 millones activos.
Preentrenamiento con 33,5 billones de tokens y contexto de hasta un millon
Baidu entreno ERNIE 5.5 Flash Base desde cero utilizando 33,5 billones de tokens (33.5T).
El proceso empleo el optimizador Muon y precision mixta FP8.
En cuanto a la longitud de contexto, el modelo contempla dos limites segun la etapa de utilizacion:
- 128K tokens (131.072): longitud maxima durante el preentrenamiento.
- 1.048.576 tokens: contexto admitido para ajuste fino (fine-tuning) e inferencia.
Estas caracteristicas forman parte de la configuracion publicada junto con los pesos del modelo.
Benchmarks: ERNIE 5.5 Flash Base lidera 24 de 30 pruebas segun Baidu
Baidu comparo su modelo con otras tres propuestas de arquitectura base:
DeepSeek-V4-Flash-Base, con 284.000 millones de parametros totales y 13.000 millones activos; Hy3-preview-Base, desarrollado por Tencent, con 295.000 millones totales y 21.000 millones activos; y MiMo-V2.5-Base, de Xiaomi, con 310.000 millones totales y 15.000 millones activos.
Los cuatro modelos fueron evaluados con la misma infraestructura de evaluacion, los mismos prompts y una configuracion few-shot equivalente.
Los resultados son cifras autoinformadas por Baidu, sin reproduccion independiente.
Comparativa de rendimiento
Puntuaciones de la evaluacion unificada de Baidu. Una puntuacion mayor representa un mejor resultado dentro de cada benchmark.
| Benchmark | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| MMLU-Pro | 78,4 | 69,2 | 66,9 | 65,7 |
| HumanEval+ | 82,3 | 69,5 | 78,0 | 74,4 |
| LongBench-v2 | 48,7 | 44,5 | 39,8 | 44,6 |
| HELMET-Rerank | 56,2 | 60,0 | 55,7 | 56,6 |
En MMLU-Pro, ERNIE alcanza 78,4 puntos frente a los 69,2 de DeepSeek-V4-Flash-Base.
En HumanEval+, una prueba relacionada con generacion de codigo, Baidu informa una puntuacion de 82,3, por delante de los 78,0 de Hy3-preview-Base y los 74,4 de MiMo-V2.5-Base.
La comparacion tambien muestra diferencias en las tareas de contexto largo. ERNIE encabeza LongBench-v2 con 48,7 puntos, mientras que DeepSeek-V4-Flash-Base obtiene el mejor resultado en HELMET-Rerank, con 60,0 frente a los 56,2 del modelo de Baidu.
Otros resultados destacados
La evaluacion publicada por Baidu incluye puntuaciones en diferentes categorias.
En pruebas de conocimiento general y razonamiento, ERNIE 5.5 Flash Base registra 93,3 en MMLU, 94,1 en MMLU-Redux, 34,1 en SimpleQA, 60,2 en GPQA, 87,0 en MGSM y 77,1 en BBH con respuesta directa.
En SimpleQA, DeepSeek-V4-Flash-Base alcanza 29,1 puntos dentro de la misma evaluacion.
Para generacion y comprension de codigo, Baidu comunica 81,5 en MBPP+, 40,1 en LiveCodeBench y 91,7 en RepoQA.
En tareas de contexto largo, el modelo consigue 85,9 puntos en HELMET-ICL.
Sin embargo, ERNIE 5.5 Flash Base queda por detras de otros modelos en seis pruebas de la comparacion.
DeepSeek-V4-Flash-Base obtiene mejores resultados en ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank e InfiniteBench.
Por su parte, Hy3-preview-Base lidera BBH CoT y FullStackBench.
De esta manera, el balance general comunicado por Baidu situa a ERNIE en primera posicion en 24 pruebas y a sus competidores en las seis restantes.
Disponibilidad de los pesos y compatibilidad con SGLang y vLLM
Baidu publico los pesos de ERNIE 5.5 Flash Base en dos variantes:
- FP8: disponible como baidu/ERNIE-5.5-Flash-Base.
- BF16: disponible como baidu/ERNIE-5.5-Flash-Base-BF16.
Ambas versiones se distribuyen en formato safetensors a traves de Hugging Face y ModelScope.
La documentacion oficial contempla la ejecucion del modelo mediante SGLang y vLLM.
En SGLang, el ejemplo proporcionado por Baidu utiliza paralelismo de tensor de cuatro vias con el parametro --tp 4.
Para vLLM, la configuracion documentada requiere la version 0.32.0 y el complemento vLLM-ERNIE.
Dado que se trata de un modelo base y no de un chatbot post-entrenado, su servicio utiliza la API de completions, en lugar de la interfaz de chat.
Esta distincion es importante para entender el tipo de checkpoint que Baidu ha publicado: una base de preentrenamiento destinada a posteriores procesos de adaptacion y desarrollo.
Una licencia propia con restricciones geograficas y comerciales
Aunque Baidu permite acceder a los pesos de ERNIE 5.5 Flash Base, su distribucion esta regulada por el ERNIE 5.5 Flash Base Model License Agreement v1.0.
Se trata de una licencia propia de Baidu, distinta de las licencias abiertas estandar.
Segun las condiciones publicadas, el uso es gratuito para organizaciones con ingresos inferiores a 50 millones de dolares.
La licencia tambien establece exclusiones territoriales que afectan a la Union Europea, el Reino Unido y Corea del Sur.
Por tanto, la publicacion de los pesos permite acceder al checkpoint bajo las condiciones fijadas por Baidu, pero no equivale a una distribucion mediante una licencia abierta estandar.
Baidu y ERNIE en contexto
Baidu es la compania desarrolladora de la familia de modelos ERNIE. Con ERNIE 5.5 Flash Base, publica el checkpoint correspondiente al final del preentrenamiento de su nueva arquitectura MoE de solo texto.
La empresa tambien ha anunciado que posteriormente llegara ERNIE 5.5 Flash, una version que incorporara post-entrenamiento.
El anuncio del 5 de noviembre de 2026 esta documentado en las fuentes oficiales de Baidu: la ficha de ERNIE 5.5 Flash Base en Hugging Face y el blog tecnico del equipo ERNIE.
La publicacion tambien recibio cobertura en MarkTechPost, que recoge las principales caracteristicas de la arquitectura, las comparaciones de rendimiento y las condiciones de distribucion.
