NVIDIA anunció Nemotron 3.5 Transcribe, un modelo de inteligencia artificial de pesos abiertos (open-weight) diseñado para trabajar con grabaciones de voz mediante instrucciones en lenguaje natural. La propuesta integra cuatro capacidades en un único checkpoint: transcripción, atribución de hablantes o diarización, traducción y preguntas y respuestas sobre el contenido del audio.
El modelo admite 40 idiomas para transcripción, traducción entre el inglés y otros 31 idiomas y diarización en 13 idiomas. Puede analizar grabaciones de hasta una hora con un máximo de ocho hablantes, además de proporcionar marcas de tiempo a nivel de palabra.
Junto con el modelo, NVIDIA presentó Granary v2, una nueva versión de su pipeline abierto de curación de datos multilingües. Su manifiesto público reúne 463.062 horas de audio procedentes de 16 corpus fuente y abarca 48 idiomas.
Ambos proyectos se detallan en el anuncio oficial de NVIDIA publicado en el blog de Hugging Face el 28 de octubre de 2026.
Un modelo de voz que entiende instrucciones
Nemotron 3.5 Transcribe permite indicar en lenguaje natural qué tarea debe realizar sobre una grabación. De esta forma, un mismo modelo puede generar una transcripción, identificar a los participantes, traducir el contenido o responder preguntas relacionadas con lo que se ha dicho.
NVIDIA muestra ejemplos de instrucciones como:
- «Transcribe this recording and label each speaker»: transcribir una grabación e identificar a cada hablante.
- «Translate this audio into English»: traducir el audio al inglés.
- «What decisions were made in this meeting?»: identificar las decisiones tomadas durante una reunión.
El modelo también permite incorporar contexto en la instrucción para mejorar el reconocimiento de términos especializados o desconocidos. NVIDIA ilustra esta capacidad con un escenario médico que incluye expresiones como HbA1c y metformina.
La función de preguntas y respuestas sobre audio está entrenada en inglés. Nemotron 3.5 Transcribe está orientado al procesamiento de grabaciones, en lugar de la transcripción de audio en streaming en vivo.
El modelo se encuentra disponible en Hugging Face y ModelScope.
Nemotron 3.5 Transcribe: resultados en reconocimiento de voz
NVIDIA comunica resultados destacados para su modelo en evaluaciones de transcripción en inglés, reconocimiento multilingüe, grabaciones largas y conversaciones con múltiples participantes.
En el Hugging Face Open ASR Leaderboard, Nemotron 3.5 Transcribe ocupa el primer puesto entre los modelos de pesos abiertos en inglés, con un promedio del 5,33% de tasa de error de palabras (WER).
La WER mide la proporción de errores de reconocimiento de palabras respecto de una transcripción de referencia. Un porcentaje menor representa una tasa de error más baja.
| Evaluación | Resultado comunicado |
|---|---|
| Hugging Face Open ASR Leaderboard, inglés | 5,33% WER |
| Evaluación multilingüe en siete idiomas | 4,62% WER medio |
| Evaluación de audio de formato largo | 10,98% WER medio |
| Artificial Analysis, AA-WER | 2,8% |
| Artificial Analysis, AA-AgentTalk | 1,8% WER |
| Siguiente mejor modelo abierto en AA-AgentTalk | 2,3% WER |
En Artificial Analysis, Nemotron 3.5 Transcribe empata en el primer puesto entre los modelos abiertos, con una puntuación AA-WER del 2,8%.
La comparación también refleja una diferencia en la cantidad de parámetros activos: el modelo de NVIDIA utiliza aproximadamente 4.000 millones, frente a los 24.000 millones del modelo con el que comparte la primera posición.
En AA-AgentTalk, una evaluación centrada en conversaciones, Nemotron registra un 1,8% de WER, mientras que el siguiente mejor modelo abierto alcanza el 2,3%.
Diarización: identificación de hablantes
Otra de las funciones principales es la diarización, que permite atribuir segmentos de una grabación a los participantes correspondientes.
NVIDIA informa de resultados en dos evaluaciones especializadas.
| Benchmark | Resultado de Nemotron 3.5 Transcribe | Comparación |
|---|---|---|
| David AI DAI-ASR-I18N, 21 idiomas | 18,26% DER | Nemotron 3 Diarization: 18,38% DER |
| VoiceArena Diarization-Bench | 32,4% cpWER | Primer puesto entre 14 sistemas |
En el leaderboard DAI-ASR-I18N de David AI, Nemotron 3.5 Transcribe consigue la menor tasa de error de diarización (DER), con un 18,26%, seguido por Nemotron 3 Diarization con un 18,38%.
En VoiceArena Diarization-Bench ocupa la primera posición entre 14 sistemas evaluados, con un resultado del 32,4% de cpWER, una métrica de error de transcripción que tiene en cuenta la atribución de hablantes.
Arquitectura: Mamba, Transformer y mixture-of-experts
Nemotron 3.5 Transcribe combina un codificador de voz con un modelo de lenguaje de arquitectura híbrida Mamba-Transformer mixture-of-experts (MoE).
Esta configuración permite que una parte de los parámetros del modelo participe en el procesamiento de cada token, en lugar de activar toda la red.
| Característica | Nemotron 3.5 Transcribe |
|---|---|
| Parámetros totales | Aproximadamente 30.000 millones |
| Parámetros activos por token | Aproximadamente 4.000 millones |
| Arquitectura de lenguaje | Híbrida Mamba-Transformer MoE |
| Componente de audio | Codificador de voz |
| Duración máxima de grabación | Una hora |
| Número máximo de hablantes | 8 |
La arquitectura permite reunir tareas de reconocimiento y comprensión de audio dentro de un mismo modelo, controlado mediante instrucciones.
Procesamiento de 100 horas de audio en menos de tres minutos
NVIDIA también destaca la capacidad de ejecución de Nemotron 3.5 Transcribe en una sola GPU.
El modelo funciona con hardware NVIDIA que abarca desde DGX Spark hasta sistemas Blackwell, y cuenta con opciones tanto para servirlo como para ejecutarlo localmente.
En una GPU RTX PRO 6000 Blackwell Server Edition, utilizando precisión NVFP4, NVIDIA informa de un rendimiento equivalente a 100 horas de audio procesadas en menos de tres minutos.
La medición se realizó utilizando clips de 30 segundos con un nivel elevado de concurrencia.
| Configuración | Dato comunicado |
|---|---|
| GPU | RTX PRO 6000 Blackwell Server Edition |
| Precisión | NVFP4 |
| Volumen de audio | 100 horas |
| Tiempo de procesamiento | Menos de 3 minutos |
| Duración de los clips utilizados | 30 segundos |
| Condiciones | Alta concurrencia |
En cuanto a las opciones de ejecución, Nemotron 3.5 Transcribe puede servirse mediante vLLM y también ejecutarse localmente con NeMo-Speech.cpp.
Estas alternativas permiten utilizar el modelo en diferentes configuraciones de infraestructura basadas en GPU NVIDIA.
Granary v2: un pipeline abierto con 463.062 horas de audio
El segundo componente del anuncio es Granary v2, un pipeline abierto para la curación de datos multilingües construido con NVIDIA NeMo Curator.
Granary v2 amplía el alcance lingüístico de la versión anterior y genera distintas representaciones del contenido hablado, junto con datos adicionales para tareas relacionadas con voz y lenguaje.
Su manifiesto público contiene las siguientes cifras:
| Característica | Granary v2 |
|---|---|
| Horas de audio | 463.062 |
| Idiomas | 48 |
| Corpus fuente | 16 |
| Idiomas en Granary v1 | 25 |
La cobertura lingüística aumenta de los 25 idiomas de Granary v1 a los 48 idiomas de Granary v2.
Tres versiones de transcripción para cada grabación
Una característica importante de Granary v2 es que produce tres formas diferentes de transcribir el mismo audio:
- Transcripción literal normalizada: representa el contenido de la grabación mediante una versión normalizada del texto.
- Transcripción con normalización inversa y muletillas: aplica normalización inversa y conserva las muletillas del habla.
- Transcripción con normalización inversa sin muletillas: aplica normalización inversa y elimina las muletillas.
Además de estas tres versiones, Granary v2 genera otros tipos de información a partir de las grabaciones:
- Subtítulos cortos que describen el audio.
- Restauración de préstamos lingüísticos.
- Pares de preguntas y respuestas basados en voz.
- Términos destinados al sesgo contextual.
- Traducciones acompañadas de puntuaciones automáticas de calidad.
De esta manera, Granary v2 proporciona datos para distintas tareas de procesamiento de voz, desde la transcripción hasta la traducción y la comprensión del contenido hablado.
Caso médico: adaptación del reconocimiento de voz con NeMo Speech
El anuncio también presenta un estudio de reconocimiento de voz en el ámbito médico realizado con NeMo Speech.
El trabajo analiza el uso de instrucciones y el ajuste fino para mejorar la transcripción de grabaciones con terminología especializada y distintos acentos.
Uno de los resultados muestra que incluir explícitamente el idioma inglés y el alfabeto latino en el prompt reduce la tasa de error de palabras en el benchmark completo.
| Configuración evaluada | WER |
|---|---|
| Resultado inicial | 30,8% |
| Prompt que especifica inglés y alfabeto latino | 23,8% |
El estudio también informa de que el ajuste fino reduce la WER en hablantes no vistos un 45,8% relativo frente al mejor prompt.
Datos utilizados en el estudio
Para realizar la adaptación, el estudio combinó diferentes fuentes de audio:
| Fuente de datos | Volumen |
|---|---|
| Voz sintética | Aproximadamente 153 horas |
| Inglés con acento de Common Voice | 29 horas |
| Grabaciones médicas de MultiMed | 63 horas |
| Benchmark abierto de Eka Care | 3.619 clips |
El experimento reúne así datos de voz sintética, grabaciones de inglés con acento y audio especializado del entorno médico.
Los resultados comunicados distinguen entre las mejoras obtenidas mediante instrucciones en lenguaje natural y las alcanzadas con ajuste fino, especialmente en la evaluación con hablantes que no formaban parte de los datos utilizados para la adaptación.
Nemotron 3.5 Transcribe y Granary v2 en contexto
NVIDIA presenta Nemotron 3.5 Transcribe y Granary v2 como dos componentes abiertos para el procesamiento multilingüe de voz.
Nemotron 3.5 Transcribe reúne cuatro tareas de audio en un checkpoint y admite instrucciones en lenguaje natural. Sus pesos están disponibles en Hugging Face y ModelScope, mientras que su ejecución puede realizarse mediante vLLM o NeMo-Speech.cpp.
Granary v2, construido con NVIDIA NeMo Curator, amplía su cobertura a 48 idiomas y reúne 463.062 horas de audio en su manifiesto público.
El anuncio oficial de NVIDIA, publicado en Hugging Face el 28 de octubre de 2026, describe tanto las capacidades de ambos proyectos como sus resultados en evaluaciones de transcripción, diarización y adaptación al dominio médico.
