llm 0.37: nuevo modelo por defecto más barato, endpoints OpenAI compatibles y embeddings con tipos
La versión 0.37 de llm ya está disponible y reúne dos meses de novedades. El lanzamiento actualiza el modelo por defecto, amplía la compatibilidad con endpoints de OpenAI y mejora el manejo de embeddings, además de introducir nuevos modelos, opciones para el chat y cambios en la API de Python.
Un nuevo modelo por defecto más económico
El cambio más visible es el modelo que llm utiliza por defecto. A partir de esta versión, el modelo predeterminado es gpt-6-luna, que cuesta la mitad que el anterior gpt-5.6-luna. Según la descripción de la versión, gpt-6-luna es el modelo frontera más barato de OpenAI. Quien prefiera mantener el comportamiento anterior puede volver a gpt-5.6-luna con el comando:
llm models default gpt-5.6-luna
Nuevos modelos y compatibilidad con endpoints de OpenAI
La versión 0.37 añade los modelos gpt-6.1-sol y gpt-6.1-terra, además de chat-latest. También incorpora una forma más directa de trabajar con modelos servidos a través de endpoints compatibles con OpenAI. El nuevo comando llm openai endpoint add permite configurar esos modelos, mientras que llm openai endpoint list, llm openai endpoint remove y llm openai endpoint path completan su gestión. Los modelos configurados de esta manera se guardan en el archivo extra-openai-models.yaml.
Embeddings con tipos y contenido binario
Los embeddings también reciben una mejora importante. Ahora aceptan contenido binario con distinto content-type, un cambio necesario para modelos como Gemini Embedding 2, que puede incrustar texto, audio, imágenes y vídeo. La versión introduce adjuntos tipados, con información sobre el MIME type y el origen del contenido. Las opciones -a/--attachment y --at/--attachment-type están disponibles en llm embed, llm embed-multi y llm similar. Además, las colecciones incorporan una nueva columna content_type para registrar ese tipo de contenido.
Mejoras en el chat y en la API de Python
El comando llm chat acepta ahora la opción -u/--usage, que muestra el uso de tokens tras cada turno de la conversación. En la API de Python, se añade el método chain.on_response(callback), que permite ejecutar una función de retorno con cada respuesta de la cadena.
Compatibilidad con Python y modelos eliminados
La versión 0.37 añade soporte de Python 3.15 y finaliza el soporte de Python 3.10. También elimina varios modelos OpenAI cerrados y sus alias. Entre los modelos eliminados están gpt-3.5-turbo, gpt-3.5-turbo-16k, gpt-3.5-turbo-instruct, gpt-4, gpt-4-turbo, gpt-4-turbo-2024-04-09, gpt-4.1-nano, gpt-5.2-chat-latest, o1, o1-2024-12-17, o3-mini y o4-mini, junto con alias como 3.5, chatgpt, 4 y 4t.
Correcciones incluidas en la versión
La actualización también corrige varios problemas. Entre ellos, llm chat ahora respeta la configuración llm logs off, se corrige la corrupción de texto UTF-8 no ASCII en llm embed-multi --files y se solucionan errores SQLITE_BUSY cuando varios procesos acceden a la base de datos. El lanzamiento incluye además otras correcciones menores.
llm en contexto
llm es una herramienta de línea de comandos y una librería de Python para trabajar con modelos de lenguaje, y la versión 0.37 concentra en un solo lanzamiento los cambios acumulados durante dos meses.
