Samaya Sterling: una IA especializada en investigación financiera con agentes
Samaya AI anunció Sterling, un modelo de inteligencia artificial diseñado para realizar investigaciones financieras mediante el uso de herramientas especializadas y procesos de razonamiento de varios pasos.
El modelo parte de Nemotron 3.5 Lightning de NVIDIA, una arquitectura de mezcla de expertos (MoE) con 30.000 millones de parámetros totales y 3.000 millones activos. Samaya utilizó LoRA para adaptar el modelo a tareas de investigación financiera.
Sterling funciona como un agente investigador: planifica cómo abordar una consulta, utiliza herramientas financieras, recopila evidencia y organiza los hallazgos. Posteriormente, un componente separado se encarga de redactar el informe final.
Según el anuncio oficial de Samaya, el desarrollo se centró en mejorar la capacidad del modelo para investigar problemas financieros complejos mediante entrenamiento especializado y aprendizaje por refuerzo.
Sterling alcanza un 60,6% en FrontierFinance
Samaya evaluó Sterling en FrontierFinance, un benchmark compuesto por 220 consultas públicas de investigación financiera.
La evaluación utiliza rúbricas elaboradas por expertos y un panel de tres modelos que actúan como jueces. La compañía también indica que ninguna de las preguntas incluidas en el benchmark formó parte del entrenamiento.
En su configuración estándar, Sterling alcanzó una puntuación del 58,9%, con un costo de 0,61 dólares por consulta y un tiempo de 282 segundos.
En el modo de mayor esfuerzo de investigación, denominado high-effort, la puntuación aumentó al 60,6%, con un costo de 1,83 dólares y un tiempo de 372 segundos por pregunta.
Comparativa de rendimiento, costo y tiempo
La siguiente tabla recoge las cifras comunicadas por Samaya en su evaluación de FrontierFinance.
| Modelo o sistema | Puntuación | Costo por pregunta | Tiempo por pregunta |
|---|---|---|---|
| Sterling | 58,9% | 0,61 USD | 282 s |
| Sterling high-effort | 60,6% | 1,83 USD | 372 s |
| Claude Fable 5.1 | 55,9% | 6,89 USD | 268 s |
| Sistema propio de Samaya high-effort | 56,0% | 1,81 USD | 278 s |
Fuente: resultados de FrontierFinance comunicados por Samaya AI.
De acuerdo con estas cifras, Sterling supera la puntuación atribuida a Claude Fable 5.1 con un costo por consulta considerablemente menor en su configuración estándar.
La modalidad high-effort obtiene una puntuación superior, aunque requiere más tiempo y eleva el costo de cada investigación.
Samaya también detalla cómo se distribuye el gasto: la ejecución del modelo Sterling representa 0,04 dólares por pregunta, mientras que el costo restante corresponde a las herramientas financieras y los modelos auxiliares utilizados durante el proceso.
Cómo evolucionó Sterling durante su entrenamiento
El modelo base comenzó con una puntuación del 42,5% en FrontierFinance. A partir de ahí, Samaya aplicó cuatro etapas de entrenamiento que incrementaron progresivamente su rendimiento hasta el 58,9%.
Evolución del rendimiento por etapa
| Etapa | Método aplicado | Puntuación en FrontierFinance |
|---|---|---|
| Modelo base | Nemotron 3.5 Lightning | 42,5% |
| Primera etapa | SFT con trazas sintéticas | 51,4% |
| Segunda etapa | SFT best-of-8 | 54,8% |
| Tercera etapa | GRPO offline | 57,5% |
| Cuarta etapa | GRPO online | 58,9% |
Fuente: resultados de entrenamiento publicados por Samaya AI.
La mejora acumulada comunicada por la empresa fue de 16,4 puntos porcentuales entre el modelo base y la versión final.
El entrenamiento también modificó el comportamiento del agente durante las investigaciones. Según Samaya, la mediana de llamadas a herramientas pasó de 3 a 17, lo que refleja una mayor utilización de recursos externos para recopilar información.
En el tercio de consultas más difíciles de FrontierFinance, la puntuación aumentó del 31,8% al 45,2%.
| Indicador | Modelo inicial | Sterling final |
|---|---|---|
| Puntuación general | 42,5% | 58,9% |
| Mediana de llamadas a herramientas | 3 | 17 |
| Puntuación en el tercio más difícil | 31,8% | 45,2% |
Fuente: métricas de evolución comunicadas por Samaya.
Las cuatro etapas del entrenamiento de Sterling
1. Ajuste supervisado con investigaciones sintéticas
La primera fase utilizó 968 preguntas sintéticas de analistas financieros.
El modelo Kimi K3 actuó como profesor y generó dos respuestas para cada consulta. Posteriormente, un modelo de lenguaje utilizado como juez seleccionó la mejor respuesta para incorporarla al entrenamiento.
Este proceso permitió enseñar a Sterling a utilizar 37 herramientas financieras y generar llamadas con argumentos válidos.
2. Selección de mejores respuestas con best-of-8
En la segunda etapa, Samaya empleó 1.819 preguntas redactadas por expertos.
Kimi K3 respondió cada pregunta siguiendo ocho estrategias diferentes. Las respuestas se calificaron y se seleccionó la mejor para incorporarla al conjunto de entrenamiento.
Según los resultados de Samaya, la selección best-of-8 consiguió cubrir el 80% de los elementos esenciales de las rúbricas, frente a aproximadamente el 66% obtenido por la mejor estrategia individual.
Tras el proceso de filtrado, quedaron 1.157 preguntas para el entrenamiento.
| Indicador | Resultado comunicado por Samaya |
|---|---|
| Preguntas iniciales redactadas por expertos | 1.819 |
| Estrategias por pregunta | 8 |
| Cobertura de elementos esenciales con best-of-8 | 80% |
| Cobertura de la mejor estrategia individual | ~66% |
| Preguntas conservadas después del filtrado | 1.157 |
3. Aprendizaje por refuerzo GRPO offline
La tercera fase incorporó GRPO offline, un método de aprendizaje por refuerzo que permitió comparar las ocho respuestas generadas previamente por el modelo profesor.
En lugar de producir nuevas respuestas, el entrenamiento utilizó las existentes y las puntuó unas respecto de otras para mejorar el comportamiento de Sterling.
Tras esta etapa, la puntuación reportada por Samaya en FrontierFinance llegó al 57,5%.
4. Aprendizaje por refuerzo GRPO online
En la última fase, Sterling comenzó a generar sus propias respuestas durante el entrenamiento.
El modelo resolvió cada pregunta ocho veces y aprendió a partir de los intentos evaluados.
Samaya también incorporó un mecanismo de muestreo de importancia truncado para corregir un desajuste relacionado con el muestreador de la arquitectura MoE.
Con esta etapa, Sterling alcanzó el 58,9% en la evaluación estándar de FrontierFinance.
Un sistema de investigación con herramientas y gestión de contexto
El entrenamiento del modelo fue acompañado por modificaciones en el entorno que coordina su funcionamiento, también denominado harness.
Samaya eliminó instrucciones detalladas del prompt del sistema y de las descripciones de herramientas. Además, fusionó herramientas para reducir la longitud del prompt utilizado por el agente.
El sistema incorpora dos modelos auxiliares para gestionar el contexto durante las investigaciones:
- Condensador: reduce la extensión de los resultados largos devueltos por las herramientas financieras.
- Compactador: resume la secuencia de trabajo del agente conforme aumenta su longitud.
Estos componentes permiten administrar la información que Sterling necesita durante una investigación de varios pasos.
El proceso también utiliza un presupuesto de investigación que establece un límite al trabajo del agente. Una vez completada esa fase, un redactor separado utiliza la evidencia recopilada para elaborar la respuesta final.
De esta manera, Samaya distingue entre la tarea de investigar y reunir información y la de presentar los hallazgos en un informe.
En contexto: qué es Samaya AI
Samaya AI desarrolla sistemas de inteligencia artificial orientados a la investigación especializada y al trabajo con herramientas.
Con Sterling, la empresa presenta un enfoque de investigación financiera agéntica basado en un modelo post-entrenado mediante LoRA, aprendizaje supervisado y aprendizaje por refuerzo.
El proyecto combina un modelo investigador con herramientas financieras y componentes auxiliares para gestionar el contexto y redactar los resultados.
El anuncio de Sterling se centra en su metodología de entrenamiento, sus resultados en FrontierFinance y la arquitectura del sistema. Samaya no anunció pesos públicos ni una API de Sterling.
Qué aporta Sterling a la investigación financiera con IA
El lanzamiento de Sterling muestra cómo Samaya está utilizando entrenamiento especializado para desarrollar un agente que investiga consultas financieras mediante herramientas y recopilación de evidencia.
La evolución comunicada por la empresa es significativa dentro de su evaluación: el modelo pasó del 42,5% al 58,9% en FrontierFinance y alcanzó un 60,6% cuando se configuró para realizar investigaciones con mayor esfuerzo.
El aumento de llamadas a herramientas, las mejoras en las preguntas más difíciles y la separación entre investigación y redacción forman parte del enfoque técnico de Sterling.
Los resultados publicados por Samaya también permiten observar la relación entre calidad, costo y duración de las consultas: el modo estándar prioriza un menor costo, mientras que high-effort dedica más recursos a mejorar la puntuación.
