Introducción
Infini-AI-Lab ha publicado Hermit, un framework de código abierto diseñado para adaptar agentes de inteligencia artificial a nuevas tareas sin modificar sus modelos ni sus entornos de ejecución originales, conocidos como harnesses.
La propuesta consiste en entrenar un componente externo llamado harness adapter. Este adaptador aprende a ajustar el comportamiento del agente mientras el modelo y el harness permanecen congelados. De esta manera, los desarrolladores pueden adaptar agentes como Codex y Claude Code a distintos trabajos sin necesidad de ajustar sus modelos mediante fine-tuning ni crear versiones modificadas de sus harnesses.
La primera versión, v0.1.0, se publicó el 25 de octubre de 2026. Haizhong Zheng, investigador posdoctoral de la Universidad Carnegie Mellon (CMU), anunció el proyecto en X el 27 de octubre.
Qué es Hermit y cómo funciona
Hermit es un framework desarrollado en Python que no incorpora parámetros propios. Se distribuye bajo la licencia Apache-2.0 y está pensado para trabajar con agentes existentes mediante adaptadores externos.
Su funcionamiento utiliza un ciclo de entrenamiento inspirado en el aprendizaje por refuerzo. El proceso se divide en cuatro etapas:
- Ejecución de tareas: un componente llamado Trainer ejecuta diferentes tareas mediante el agente, utilizando el adaptador disponible en ese momento.
- Evaluación de resultados: un evaluador o judge asigna puntuaciones a las respuestas generadas por el agente.
- Propuesta de mejoras: un componente denominado Evolver plantea un nuevo adaptador a partir de los resultados obtenidos.
- Validación y actualización: el Trainer comprueba el adaptador propuesto y, si corresponde, lo incorpora como la siguiente versión.
Cada versión del adaptador se almacena dentro de un árbol de Git. Esto permite inspeccionar las versiones, regresar a una anterior o distribuir cualquiera de ellas.
Los programas de aprendizaje también pueden ejecutarse en entornos aislados (sandboxed). Esta modalidad requiere Linux y bubblewrap.
Cinco métodos de evolución disponibles
La primera versión de Hermit incluye cinco métodos para desarrollar y mejorar adaptadores:
- GEPA: método de evolución de adaptadores incluido en el framework.
- SkillOpt: método orientado a la optimización de habilidades.
- MetaWorld Model (MWM): método de evolución incluido entre las opciones disponibles.
- Harness²: otro de los métodos de evolución incorporados.
- Continual Harness: método adicional para la evolución continua de adaptadores.
El proyecto también incluye ACE y ReHarness en su lista de métodos previstos para próximas incorporaciones.
Instalación y requisitos
Hermit se puede instalar desde PyPI con el siguiente comando:
pip install hermit-harness
Otra opción es clonar el repositorio para acceder a sus ejemplos.
El proyecto incluye un inicio rápido que funciona sin conexión y no necesita una GPU, una cuenta de acceso a modelos ni un conjunto de datos. Para ejecutar entrenamientos reales, permite utilizar cualquier backend de API compatible o un servidor local de vLLM, SGLang u Ollama.
Los modelos se identifican mediante el formato:
<backend>/<model id>
Los proveedores y sistemas compatibles son:
- Fireworks
- OpenAI
- Anthropic
- DeepSeek
- vLLM
- SGLang
- Ollama
Comandos para entrenar, evaluar y desplegar adaptadores
Hermit incorpora una interfaz de línea de comandos (CLI) con cinco operaciones principales:
| Comando | Función |
|---|---|
| check | Comprobar el proyecto. |
| train | Entrenar adaptadores. |
| eval | Evaluar resultados. |
| deploy | Desplegar adaptadores. |
| convert | Convertir adaptadores a formatos de plugin nativos. |
El comando hermit deploy genera un espacio de trabajo para utilizar el adaptador con Codex, Claude Code o Pi.
Por su parte, hermit convert permite exportar un adaptador entrenado como plugin nativo compatible con Codex, Claude Code, Pi o Hermes.
Resultados publicados en los benchmarks
El equipo publicó resultados de Hermit en tres evaluaciones: OfficeQA, CL-Bench y ServeLearnBench. Todas las pruebas utilizaron GLM 5.3 Flash como modelo encargado de ejecutar las tareas.
OfficeQA: preguntas sobre documentos del Tesoro estadounidense
OfficeQA contiene 172 preguntas de evaluación relacionadas con boletines del Tesoro de Estados Unidos. La métrica utilizada es exact match, que mide la coincidencia exacta de las respuestas.
Estos son los resultados publicados por el equipo:
| Configuración | Resultado |
|---|---|
| Sin adaptador | 0.541 |
| Habilidad inicial (Initial skill) | 0.576 |
| GEPA | 0.580 |
| SkillOpt | 0.600 |
| Continual Harness | 0.634 |
| Harness² | 0.651 |
Harness² obtuvo el resultado más alto de esta evaluación, seguido de Continual Harness y SkillOpt.
CL-Bench: exploración de bases de datos y póquer
En CL-Bench, el método MetaWorld Model (MWM) consiguió los siguientes resultados en dos pruebas:
| Evaluación | Método | Resultado |
|---|---|---|
| Exploración de bases de datos | MWM | 0.795 |
| Exploración de bases de datos | Referencia in-context | 0.580 |
| Póquer explotable | MWM | 3.08 ciegas grandes por mano |
| Póquer explotable | Aprendizaje in-context | 2.51 ciegas grandes por mano |
En la exploración de bases de datos, MWM alcanzó 0.795 frente a 0.580 de la referencia in-context. En la prueba de póquer, obtuvo 3.08 ciegas grandes por mano, frente a las 2.51 de la alternativa de referencia.
ServeLearnBench: solicitudes de atención al cliente
ServeLearnBench evalúa la capacidad de aprendizaje ante 624 solicitudes de soporte comercial minorista, sometidas a una política oculta que cambia durante la evaluación.
Los resultados publicados fueron los siguientes:
| Configuración | Resultado |
|---|---|
| MetaWorld Model (MWM), pruebas con política oculta | 45.3 |
| Continual Harness (CH), mejor método de aprendizaje | 28.7 |
| Referencia oracle con la política conocida | 89.2 |
MWM consiguió 45.3 puntos en las pruebas con política oculta, mientras que Continual Harness alcanzó 28.7 como mejor método de aprendizaje de la clasificación. La referencia oracle, que recibe la política, obtuvo 89.2.
Infini-AI-Lab en contexto
Infini-AI-Lab es el equipo responsable de publicar Hermit. La primera versión del framework, v0.1.0, apareció el 25 de octubre de 2026. Haizhong Zheng, investigador posdoctoral de Carnegie Mellon University (CMU), anunció el proyecto en X el 27 de octubre del mismo año.
