Introducción: AKV propone una nueva forma de gestionar la memoria de los agentes de IA
Investigadores de la Universidad de Tsinghua y CUHK desarrollaron AKV, un sistema de código abierto para gestionar la caché de claves y valores (KV) de agentes basados en grandes modelos de lenguaje (LLM). Su propuesta consiste en conservar únicamente las entradas necesarias de la caché y permitir que el agente continúe trabajando con la información restante.
El sistema funciona sobre SGLang, utiliza una interfaz compatible con OpenAI y se distribuye bajo licencia Apache-2.0. AKV se centra en la infraestructura de servicio y gestión de caché, en lugar de distribuir nuevos pesos de modelos.
Según MarkTechPost, en una evaluación con tres modelos y cuatro benchmarks, AKV consiguió reducir el coste medio un 27,7% y aumentar la puntuación media en 1,7 puntos respecto al método de resumen por umbral.
Contexto: el coste de mantener historiales extensos en agentes LLM
Los agentes de inteligencia artificial pueden acumular grandes cantidades de contexto durante la ejecución de tareas. Una forma de gestionar ese historial consiste en resumir la información cuando alcanza determinados límites.
AKV plantea una alternativa: en lugar de generar un resumen del historial, elimina entradas seleccionadas de la caché KV y conserva las demás para reutilizarlas.
Esta diferencia afecta directamente a la forma en que se procesan las conversaciones y las operaciones sucesivas del agente.
En el análisis de costes presentado por los investigadores, las lecturas de caché KV representaban el 82,4% del coste total de API, lo que sitúa la gestión de esta memoria como un componente relevante del gasto evaluado.
Cómo funciona AKV: tres operaciones para administrar la caché KV
AKV introduce tres operaciones principales que permiten actualizar, eliminar y reorganizar las entradas de caché.
- Append: actualización estándar
Es la operación convencional de actualización de la caché KV. Permite incorporar las nuevas entradas generadas durante el procesamiento.
- Drop: eliminación selectiva de contexto
Permite retirar entradas específicas de la atención futura del modelo sin modificar las posiciones de las entradas que permanecen.
De esta manera, el agente puede descartar partes seleccionadas del historial conservando la caché restante.
- Repos: reorganización de posiciones
Reescribe las claves conservadas para situarlas en las posiciones consecutivas de 0 a r-1 mediante una rotación RoPE.
Durante esta operación, los valores permanecen sin cambios y no se vuelven a calcular los estados ocultos.
La combinación de estas tres operaciones permite que AKV gestione el contexto directamente sobre las estructuras de caché utilizadas por el modelo.
Interfaz compatible con OpenAI y políticas de gestión del contexto
AKV dispone de una interfaz sin estado compatible con OpenAI.
El cliente envía el historial completo de la conversación junto con dos campos opcionales:
drop_message: permite indicar la información que debe eliminarse.
reposition: controla el reposicionamiento de las entradas conservadas.
Para construir estos campos, AKV utiliza un componente denominado CachePolicy, que combina tres elementos: un disparador, un selector y una regla de reposicionamiento.
El sistema incorpora políticas basadas en turnos, tokens o decisiones del propio modelo.
También incluye CacheTool, un mecanismo que permite al modelo invocar la herramienta drop_context para gestionar la eliminación de contexto.
Resultados de AKV: evaluaciones con tres modelos y cuatro benchmarks
Los investigadores evaluaron AKV utilizando tres modelos de lenguaje con diferentes tamaños:
GPT-OSS-120B: 5.100 millones de parámetros activos.
MiniMax-M2.7: 230.000 millones de parámetros totales y 10.000 millones activos.
MiroThinker-1.7-Mini: 30.000 millones de parámetros totales y 3.000 millones activos.
Las evaluaciones se realizaron sobre cuatro benchmarks: BrowseComp-Plus, GAIA-Text, SWE-bench Verified y xbench-DeepSearch-2510.
Frente al método de resumen por umbral, AKV obtuvo una reducción media de costes del 27,7% y una mejora de 1,7 puntos en la puntuación media. En la comparación con Text Engineering, la reducción de costes fue del 21,9%.
Tabla comparativa: puntuación media y coste por modelo
Los resultados publicados incluyen las siguientes cifras de puntuación media y coste por tarea.
| Modelo | Puntuación media | Coste por tarea (USD, centavos) |
|---|---|---|
| MiniMax-M2.7 | 53,7% | 4,4 |
| GPT-OSS-120B | 53,1% | 7,3 |
| MiroThinker-1.7-Mini | 45,8% | 14,8 |
MiniMax-M2.7 registró la puntuación media más alta de los tres modelos y también el menor coste por tarea en esta comparación.
GPT-OSS-120B obtuvo una puntuación media de 53,1%, con un coste de 7,3 centavos por tarea, mientras que MiroThinker-1.7-Mini alcanzó el 45,8%, con un coste de 14,8 centavos.
Casos destacados: reducciones de coste y diferencias de precisión
Uno de los resultados más favorables para AKV se produjo con GPT-OSS-120B en SWE-bench Verified.
En esa evaluación, el coste por tarea descendió de 20,0 a 9,7 centavos de dólar, mientras que la puntuación aumentó de 40,0 a 43,2.
Sin embargo, el comportamiento no fue uniforme entre todas las combinaciones de modelos y benchmarks.
En BrowseComp-Plus, MiniMax-M2.7 obtuvo una puntuación de 58,9 con AKV, frente a los 62,3 registrados con Text Engineering.
Los resultados reflejan diferencias de rendimiento según el modelo y la tarea evaluada.
La importancia de Repos en los resultados
Los investigadores también realizaron estudios de ablación para analizar la contribución de los componentes de AKV.
En BrowseComp-Plus, la incorporación de Repos elevó la tasa de éxito de GPT-OSS-120B del 55% al 62%.
Este resultado muestra la contribución del reposicionamiento de las claves conservadas dentro de la configuración evaluada.
La operación utiliza rotaciones RoPE para reorganizar las posiciones de las claves sin modificar los valores ni recalcular los estados ocultos.
Rendimiento del servidor: mejoras en procesamiento y latencia
Las evaluaciones del servicio también incluyeron mediciones de rendimiento y latencia.
En el punto máximo registrado, AKV consiguió:
1,18 veces el rendimiento de salida.
1,53 veces el rendimiento de entrada.
Una latencia P95 1,51 veces más rápida.
En una prueba con concurrencia de 16, la latencia P95 del sistema estándar fue de 229,90 segundos, mientras que AKV registró 30,63 segundos.
Por otra parte, el tiempo de atención completa por paso de decodificación disminuyó de 7,082 a 2,849 milisegundos.
Estas mediciones muestran cómo las operaciones de gestión de caché se relacionan con el rendimiento del servicio bajo las configuraciones evaluadas.
Evaluación con presupuesto de GPU en SWE-bench Verified
Los investigadores también analizaron el comportamiento de AKV en un conjunto de 100 tareas de SWE-bench Verified con un presupuesto de GPU.
Los resultados de éxito fueron:
| Método | Tasa de éxito aproximada |
|---|---|
| AKV | 47% |
| Sistema estándar | 40,7% |
| Text Engineering | 32,3% |
En esta evaluación, AKV alcanzó la tasa de éxito más alta de las tres configuraciones comparadas.
La diferencia respecto al sistema estándar fue de aproximadamente 6,3 puntos porcentuales y de 14,7 puntos frente a Text Engineering.
Infraestructura utilizada y disponibilidad del proyecto
Las pruebas de AKV se realizaron sobre GPU NVIDIA mediante SGLang.
La evaluación presentada en el artículo utilizó ocho GPU NVIDIA A800 de 80 GB, con precisión BF16.
Por su parte, la configuración de inicio rápido contempla servir GPT-OSS-120B utilizando dos GPU con paralelismo tensorial de grado 2.
AKV está disponible como proyecto de código abierto con licencia Apache-2.0. Los investigadores publicaron su repositorio AKV en GitHub y también presentan el proyecto en fuvty.github.io.
El trabajo reúne mecanismos de eliminación selectiva, reposicionamiento de claves y políticas de administración de contexto para modificar la manera en que los agentes LLM gestionan su caché KV durante la ejecución de tareas.
