Anthropic presenta Message Threads para acelerar las conversaciones largas en Claude
Anthropic lanzó Message Threads, una nueva función disponible en beta pública en su plataforma Claude que permite reducir la cantidad de información enviada entre peticiones a la API.
La principal novedad es que Message Threads transmite únicamente los cambios realizados desde el último mensaje, en lugar de volver a enviar todo el historial de la conversación.
Según Anthropic, este mecanismo consigue reducir alrededor de un 35% el tiempo hasta el primer token en peticiones que contienen entre 500.000 y un millón de tokens.
Contexto: el envío repetido del historial de conversación
Hasta la llegada de Message Threads, cada petición a la API de Claude debía incluir nuevamente todo el historial de la conversación.
Esto implicaba volver a transmitir los mensajes anteriores incluso cuando únicamente se había añadido información nueva.
Message Threads cambia este funcionamiento al permitir que las peticiones posteriores envíen solo las modificaciones realizadas desde el mensaje anterior.
Una reducción del 35% en el tiempo hasta el primer token
Según Anthropic, la mejora de rendimiento es especialmente significativa en conversaciones extensas.
La empresa informa de una reducción aproximada del 35% en el tiempo necesario para recibir el primer token cuando las peticiones contienen entre 500.000 y un millón de tokens.
Entre los sistemas que más se benefician de esta función, Anthropic identifica tres tipos de aplicaciones:
- Agentes de código: sistemas que trabajan con conversaciones extensas durante tareas de programación.
- Agentes de uso de ordenador: agentes que interactúan con entornos informáticos.
- Flujos de procesamiento de documentos e imágenes: aplicaciones que manejan grandes cantidades de contenido documental o visual.
Según Anthropic, estos escenarios son los que más pueden aprovechar la reducción de información transmitida entre peticiones.
Historial cifrado en memoria durante cinco minutos
Message Threads mantiene el hilo de conversación cifrado en memoria entre peticiones.
Este hilo permanece disponible mientras continúa la actividad y expira después de cinco minutos de inactividad.
El mecanismo permite transmitir únicamente las modificaciones recientes, manteniendo el historial necesario para que Claude procese la conversación completa.
Sin embargo, esta optimización no modifica el consumo de tokens. Claude sigue leyendo todo el historial de la conversación, por lo que la cantidad de tokens utilizados permanece igual.
La diferencia se encuentra en la información que debe transmitirse entre peticiones, no en la cantidad de contenido que procesa el modelo.
Disponibilidad en Claude y plataformas en la nube
Message Threads está disponible como beta pública en la plataforma Claude.
Anthropic también ofrece esta funcionalidad a través de los siguientes servicios: AWS, Microsoft Foundry y Google Cloud.
Los detalles técnicos y de funcionamiento se encuentran en la documentación de la plataforma Claude.
Con Message Threads, Anthropic introduce una forma de reducir la transmisión repetida de información en conversaciones largas, manteniendo el procesamiento del historial completo y el mismo uso de tokens.
