Mirendil entra en el mercado de modelos de IA con Fern 0.1
Mirendil anunció el lanzamiento de Fern 0.1, su primer modelo de inteligencia artificial orientado a programación y análisis de código. Su principal característica es una ventana de contexto de hasta 10 millones de tokens, diseñada para trabajar con cantidades de información considerablemente mayores que las utilizadas habitualmente en tareas individuales de programación.
Según el anuncio oficial de Mirendil, esa capacidad equivale aproximadamente a 23 MB de código o cerca de medio millón de líneas. La compañía señala que permite introducir en el contexto una base de código de una escala comparable a Megatron-LM.
Fern 0.1 se desarrolló a partir de Mirendil-Base mediante una breve etapa de post-entrenamiento. El modelo tiene entre 0,1 y 0,5 billones de parámetros totales, aunque la empresa no ha detallado su cantidad exacta ni cuántos parámetros permanecen activos durante la inferencia.
Por ahora, el acceso se realiza mediante un programa anticipado alojado por Mirendil. La compañía no ha anunciado la publicación de pesos abiertos ni de versiones cuantizadas.
¿Para qué sirve una ventana de 10 millones de tokens?
La propuesta de Fern 0.1 se centra en tareas de desarrollo de software e investigación que requieren consultar grandes cantidades de código, documentación técnica o registros de ejecución.
Entre los casos de uso que Mirendil plantea se encuentran:
- Trabajar con bases de código extensas: analizar proyectos que contienen numerosos archivos y relaciones entre componentes.
- Programación agéntica: desarrollar código mediante agentes que continúan trabajando hasta que las pruebas se superen.
- Código de investigación: abordar tareas de programación vinculadas con proyectos de investigación.
- Depuración de entrenamientos: examinar registros de ejecución prolongados para investigar problemas.
- Análisis de trazas: leer secuencias completas de actividad de agentes o procesos de entrenamiento.
- Auditoría de datos: revisar fragmentos de información utilizados durante el preentrenamiento.
El objetivo es que el modelo pueda utilizar un volumen amplio de información dentro de una misma ventana de contexto.
Un modelo base entrenado en 3,5 meses con agentes de IA
Uno de los aspectos destacados del proyecto es el proceso utilizado para construir Mirendil-Base, el modelo que sirve como punto de partida para Fern 0.1.
De acuerdo con Mirendil, un único investigador dirigió el preentrenamiento durante 3,5 meses, con un gasto total de cómputo inferior a 10 millones de dólares.
Ese presupuesto contempla tanto el entrenamiento como los experimentos, el consumo de tokens de los agentes y el procesamiento de datos.
La empresa afirma que los agentes de inteligencia artificial escribieron más del 99 % del código empleado en el proyecto. El investigador se encargó de decidir qué experimentos realizar y en qué momentos intervenir.
| Característica | Datos comunicados por Mirendil |
|---|---|
| Modelo base | Mirendil-Base |
| Tiempo de preentrenamiento | 3,5 meses |
| Investigadores responsables | 1 |
| Gasto total de cómputo | Menos de 10 millones de dólares |
| Código escrito por agentes | Más del 99 % |
| Tecnologías utilizadas | PyTorch y JAX |
| Desarrollo del código | Desde cero |
¿Qué datos se utilizaron para entrenarlo?
Mirendil indica que recurrió exclusivamente a fuentes públicas, entre ellas repositorios de GitHub, código disponible públicamente, páginas web y conjuntos de datos públicos.
Según la compañía, el entrenamiento se realizó sin destilación, datos sintéticos ni conjuntos de datos con licencia.
El código del proyecto se desarrolló desde cero utilizando PyTorch y JAX.
Resultados RULER: recuperación de información en contextos extensos
Mirendil también presentó resultados de RULER, una evaluación que permite examinar cómo un modelo recupera y utiliza información distribuida en contextos largos.
En estas pruebas se utilizó Mirendil-Base, con decodificación greedy, sin razonamiento adicional y con evaluación mediante coincidencia exacta.
En la prueba single needle, que consiste en recuperar una información concreta dentro del contexto, el modelo obtuvo un 100 % de acierto desde 32K hasta 10 millones de tokens.
Las demás pruebas incluyen recuperación de múltiples claves, seguimiento de variables y preguntas que requieren conectar información de varios pasos.
Tabla de resultados RULER
| Prueba | 32K | 1M | 4M | 10M tokens |
|---|---|---|---|---|
| Multi-key retrieval | 100 % | 98 % | 98 % | 90 % |
| Multi-key all needles | 100 % | 100 % | 100 % | 100 % |
| Variable tracking | 100 % | 95 % | 75 % | 100 % |
| Multi-hop QA (HotpotQA) | 65 % | 65 % | 60 % | 45 % |
Una diferencia importante en el número de ejemplos: cada resultado correspondiente a 10 millones de tokens se calculó utilizando 20 ejemplos, mientras que las demás mediciones emplearon 100.
Los resultados muestran diferencias entre tareas. Mientras que la recuperación de todas las pistas en multi-key all needles mantiene un 100 % en las cuatro mediciones, las preguntas de múltiples pasos de HotpotQA descienden hasta un 45 % en el contexto de 10 millones de tokens.
Esto distingue dos capacidades relevantes: conservar y recuperar información en una ventana muy extensa y utilizar esa información para responder preguntas que exigen varios pasos de razonamiento.
Predicción del siguiente token: resultados con repositorios de 42,9 MB
Otra evaluación presentada por Mirendil examina la predicción del siguiente token utilizando sus propios repositorios de código, con un tamaño total de 42,9 MB.
En esta prueba, la pérdida de predicción de Fern disminuyó conforme aumentó la cantidad de información disponible en el contexto.
| Tamaño del contexto | Pérdida de Fern |
|---|---|
| 32K bytes | 0,246 |
| 1M bytes | 0,165 |
| 16M bytes | 0,155 |
| 23M bytes | 0,155 |
La reducción de 0,246 a 0,155 refleja el comportamiento observado en esta evaluación al ampliar el contexto desde 32K hasta 16M y 23M bytes.
Mirendil también incluyó una comparación con Kimi-K3 en el punto de un millón de bytes.
| Modelo | Pérdida a 1M bytes |
|---|---|
| Fern | 0,165 |
| Kimi-K3 | 0,140 |
En esa medición, Kimi-K3 registró una pérdida inferior a Fern, mientras que los resultados del modelo de Mirendil muestran una reducción de su propia pérdida al aumentar el contexto hasta los tamaños superiores evaluados.
Benchmarks agénticos: cómo se compara Fern 0.1 con otros modelos
Además de evaluar su capacidad para trabajar con contextos extensos, Mirendil publicó resultados en cinco benchmarks de programación agéntica.
Las pruebas incluyen DeepSWE v1.1, Terminal Bench 4.0, SWE Atlas QnA, SWE-Pro v2 Hard y SWE-Bench Verified.
Los resultados permiten comparar Fern 0.1 con Kimi-K3, GLM-5.3 y Claude Opus 5.5.
Tabla completa de benchmarks
| Benchmark | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44,2 | 67,3 | 66,9 | 74,2 |
| Terminal Bench 4.0 | 6,1 | 12,6 | 41,9 | 66,4 |
| SWE Atlas QnA | 53,2 | 66,1 | 59,4 | 66,4 |
| SWE-Pro v2 Hard | 76,5 | 88,2 | 84,3 | 100,0 |
| SWE-Bench Verified | 73,4 | 93,4 | 95,4 | 98,2 |
Cifras comunicadas en los resultados de evaluación de Mirendil.
Los datos muestran que Fern 0.1 queda por detrás de los otros tres modelos en las cinco evaluaciones de esta tabla.
La diferencia más marcada se encuentra en Terminal Bench 4.0, donde Fern alcanza 6,1 puntos frente a los 66,4 de Claude Opus 5.5.
En SWE-Bench Verified, Fern obtiene 73,4 puntos, mientras que Kimi-K3 alcanza 93,4, GLM-5.3 registra 95,4 y Claude Opus 5.5 llega a 98,2.
En SWE-Pro v2 Hard, Fern consigue 76,5 puntos, una cifra superior a sus resultados de otras pruebas, aunque todavía inferior a los valores de los tres modelos comparados.
Comparación con Inkling, Nemotron 3 Ultra y Beam
Mirendil también sitúa a Fern 0.1 frente a otros modelos de programación.
Según los resultados presentados por la empresa, Fern supera tanto a Inkling como a Nemotron 3 Ultra en cuatro de las cinco pruebas consideradas.
La comparación con Beam presenta dos resultados concretos:
| Benchmark | Fern 0.1 | Beam |
|---|---|---|
| SWE-Pro v2 Hard | 76,5 | 76,5 |
| SWE-Bench Verified | 73,4 | 81,6 |
En SWE-Pro v2 Hard, ambos modelos empatan con 76,5 puntos. En SWE-Bench Verified, Beam obtiene 81,6 frente a los 73,4 de Fern.
En conjunto, las evaluaciones muestran que la ventana de contexto de 10 millones de tokens es el principal elemento diferenciador de Fern 0.1, mientras que sus resultados de programación agéntica varían considerablemente según la prueba y los modelos utilizados como referencia.
Mirendil ya prepara modelos base de mayor tamaño
Fern 0.1 forma parte de una línea de desarrollo más amplia. Mirendil también ha comunicado el avance de dos modelos base con cantidades de parámetros superiores.
| Modelo | Parámetros totales previstos | Avance del preentrenamiento |
|---|---|---|
| Fern 0.1 | 0,1 a 0,5 billones | Lanzado |
| Mirendil-Base-Large | 0,5 a 2 billones | Más del 80 % |
| Mirendil-Base-XL | 2 a 10 billones | Más del 20 % |
Mirendil-Base-Large se encuentra en una fase avanzada de preentrenamiento, con más del 80 % completado. Por su parte, Mirendil-Base-XL, cuya escala prevista alcanza hasta 10 billones de parámetros, supera el 20 % de ese proceso.
Estos desarrollos amplían la línea de modelos de la compañía más allá de Fern 0.1, su primer lanzamiento.
En contexto
Fern 0.1 representa el primer lanzamiento de Mirendil y combina una ventana de contexto de hasta 10 millones de tokens con un proceso de desarrollo en el que los agentes de IA escribieron más del 99 % del código de Mirendil-Base.
Sus evaluaciones destacan la recuperación de información en contextos largos, mientras que los benchmarks agénticos muestran diferencias frente a otros modelos especializados en programación. La compañía continúa el preentrenamiento de dos modelos base de mayor escala.
Más información en el sitio oficial de Mirendil.
