Introducción: una IA que sabe cuándo intervenir
Un equipo de investigación liderado por Google presentó StreamVibe, un agente de inteligencia artificial diseñado para observar lo que hace una persona y decidir cuándo ofrecer ayuda sin esperar una orden directa.
La idea es crear asistentes capaces de acompañar actividades como cocinar, montar un mueble o trabajar con un programa informático. En lugar de limitarse a responder preguntas, el sistema analiza lo que sucede y determina si es necesario intervenir.
Por ejemplo, una persona podría pedir ayuda de manera general, sin especificar exactamente cuándo la necesita. StreamVibe busca interpretar esa intención, seguir el avance de la actividad y ofrecer indicaciones en el momento apropiado.
El proyecto reúne a investigadores de Google, Stanford, Oxford y otras universidades estadounidenses.
El problema de los asistentes que analizan vídeos
Los asistentes de vídeo actuales suelen funcionar mejor cuando reciben instrucciones concretas. Una persona puede solicitar que se le avise cuando el agua comience a hervir, pero resulta más complicado para estos sistemas interpretar una petición abierta de ayuda.
Los investigadores identificaron varios problemas en este tipo de interacción.
Uno de ellos es la dificultad para reconocer que el usuario necesita asistencia sin haberlo expresado directamente. Otro es mantener un seguimiento preciso de lo que ya ocurrió durante una actividad.
Esto puede provocar que el asistente repita recomendaciones, responda demasiado tarde o intervenga cuando ya no es necesario.
La situación se complica cuando el usuario modifica sus instrucciones durante la tarea. Algunos sistemas continúan siguiendo la solicitud inicial, incluso cuando la persona ha cambiado sus objetivos.
StreamVibe intenta resolver estas dificultades combinando comprensión de vídeo, seguimiento de instrucciones y decisiones sobre cuándo hablar o permanecer en silencio.
Un conjunto de más de 4.100 ejemplos para entrenar y evaluar asistentes
Para estudiar este problema, el equipo creó un conjunto de evaluación, conocido como benchmark, con aproximadamente 4.100 ejemplos extraídos de más de 183 horas de grabaciones.
Los vídeos muestran actividades de la vida cotidiana y tareas realizadas con programas informáticos.
El proceso de preparación utilizó Gemini 2.5 Flash para proponer en qué momentos debería intervenir un asistente y qué respuesta sería adecuada.
Posteriormente, cuatro evaluadores humanos revisaron los ejemplos. Cada uno necesitaba la aprobación unánime de los cuatro para formar parte del conjunto.
La evaluación contempla tres situaciones:
- Instrucciones claras: el usuario establece directamente cuándo o cómo necesita asistencia.
- Objetivos vagos: la persona expresa una intención general sin indicar el momento exacto para recibir ayuda.
- Peticiones cambiantes: el usuario modifica sus instrucciones mientras continúa realizando una actividad.
Un ejemplo muestra a una persona desmontando un excavador de juguete. Inicialmente solicita actualizaciones sobre la actividad, pero tres minutos después cambia su petición y pide un control de calidad.
El asistente debe reconocer ese cambio y ajustar sus intervenciones a la nueva solicitud.
StreamVibe-VL decide cada segundo si debe hablar
A partir de este trabajo, los investigadores entrenaron StreamVibe-VL, un modelo aparentemente basado en Qwen3.5-9B de Alibaba.
Su funcionamiento gira alrededor de una decisión que se repite cada segundo: determinar si debe ofrecer una respuesta o continuar observando sin interrumpir.
Para mejorar ese comportamiento, el equipo incorporó una segunda fase de entrenamiento mediante aprendizaje por refuerzo.
Este método busca que el modelo sea más selectivo al intervenir, evitando que convierta cada acontecimiento del vídeo en una recomendación.
El objetivo es que el asistente participe cuando su intervención aporte utilidad a la tarea que está realizando la persona.
Una memoria separada para recordar lo que ya ocurrió
StreamVibe también incorpora un sistema de memoria que mantiene un registro de las instrucciones pendientes y de los pasos que ya se completaron.
Esta memoria ayuda a conservar el contexto de la actividad, especialmente cuando el usuario cambia sus objetivos o realiza una secuencia prolongada de acciones.
Sin embargo, la decisión final sigue correspondiendo al modelo: StreamVibe-VL determina tanto si debe intervenir como el contenido de su respuesta.
Esta separación permite que el sistema de memoria proporcione información sobre el progreso de la tarea mientras el modelo administra sus intervenciones.
Los resultados muestran mejoras del 10,7 % y el 12,3 %
Según los investigadores, StreamVibe-VL consigue una mejora del 10,7 % en el momento y la calidad de sus respuestas frente a otros modelos evaluados.
Por su parte, el sistema de memoria está diseñado para mejorar la interacción proactiva otro 12,3 % y disminuir las interrupciones innecesarias.
En términos generales, StreamVibe-VL obtiene resultados considerablemente superiores a los de su modelo base y otros modelos de código abierto.
Sin embargo, Gemini 3.8 Flash de Google alcanza puntuaciones más altas en varias de las evaluaciones.
El estudio también indica que el entrenamiento especializado de StreamVibe-VL mantiene la capacidad general del modelo para comprender vídeos.
Dos ejemplos: editar una imagen y preparar una receta
Los investigadores utilizaron diferentes actividades para mostrar cómo se comportan los asistentes cuando deben decidir qué información ofrecer y en qué momento.
Edición de una fotografía en GIMP
Uno de los ejemplos presenta un tutorial para convertir una imagen a blanco y negro utilizando GIMP.
Durante la actividad, el modelo de comparación JoyAI indica que la fotografía terminada ya fue guardada, aunque el usuario todavía no había abierto la imagen.
En cambio, StreamVibe-VL sigue el avance real de la tarea y ofrece las indicaciones correspondientes en el momento adecuado, como acceder a las opciones «Colors» y después «Desaturate».
La diferencia está en mantener la respuesta sincronizada con lo que ocurre en pantalla.
Preparación de tostadas enrolladas con mermelada
Otro ejemplo muestra una guía paso a paso para preparar tostadas enrolladas con mermelada.
Algunos modelos se limitan a describir visualmente lo que está sucediendo, como señalar que el pan está siendo aplanado.
StreamVibe-VL, por su parte, ofrece una indicación relacionada con el siguiente paso de la preparación: cortar primero la corteza del pan.
Este ejemplo ilustra la diferencia entre un asistente que describe las imágenes y otro que utiliza el contexto para anticipar una ayuda útil.
El principal desafío aparece en los vídeos largos
A pesar de las mejoras, el estudio identifica una dificultad importante cuando los asistentes deben seguir actividades prolongadas.
Los modelos suelen responder correctamente cuando deben analizar un momento específico y decidir si corresponde intervenir.
Sin embargo, cuando procesan un vídeo completo y utilizan sus propias respuestas anteriores como parte del contexto, los errores comienzan a acumularse.
Según los resultados de la investigación, una métrica clave relacionada con el contenido de las respuestas puede disminuir hasta un 61,5 % cuando los sistemas dependen de su propio historial de interacción.
El problema se vuelve especialmente evidente en grabaciones de más de cinco minutos.
En esos casos, los modelos rara vez seleccionan el momento adecuado para intervenir y presentan dificultades para mantener el seguimiento de instrucciones que han cambiado durante la actividad.
Los investigadores también reconocen que las situaciones reales probablemente presentan una complejidad mayor que las condiciones utilizadas en su evaluación.
Por ese motivo, una de las próximas líneas de investigación será estudiar cómo evolucionan conjuntamente las preferencias de los usuarios y las condiciones del entorno a lo largo del tiempo.
En contexto
StreamVibe es una investigación liderada por Google en colaboración con Stanford, Oxford y otras universidades de Estados Unidos. En septiembre, Google también presentó una función de análisis de vídeo basada en agentes para Gemini, en la que el propio modelo decide qué escenas necesitan una revisión más detallada.
