Edge0 presenta Audio8-TTS-Realistic, su nuevo modelo de generación de voz
Edge0 ha lanzado Audio8-TTS-Realistic-0.6b, un modelo de inteligencia artificial para convertir texto en voz y realizar clonación de voz zero-shot mediante una grabación de referencia.
El lanzamiento representa la segunda versión de 0,6B de la familia Audio8 TTS. Está basado en Audio8-TTS-Preview-0.6b y mantiene su misma interfaz de inferencia con Transformers.
El modelo principal contiene 601 millones de parámetros, sin contar el códec de audio, y se distribuye con pesos abiertos bajo la licencia Apache 2.0.
Su repositorio oficial de Hugging Face incluye los pesos del modelo, un códec neuronal de audio de 44,1 kHz, el tokenizador, el procesador y el código personalizado necesario para su integración.
Entre sus principales características está la clonación de voz a partir de un único clip de audio acompañado de su transcripción exacta. También permite generar voz directamente desde texto sin utilizar una grabación como referencia.
Soporte para 23 idiomas: 12 más que la versión Preview
Una de las principales novedades de Audio8-TTS-Realistic es la ampliación de su cobertura multilingüe.
Mientras que Audio8-TTS-Preview admitía 11 idiomas, la nueva versión eleva esa cifra a 23.
| Característica | Audio8-TTS-Preview | Audio8-TTS-Realistic |
|---|---|---|
| Idiomas compatibles | 11 | 23 |
| Idiomas adicionales frente a Preview | — | 12 |
| Familia de parámetros | 0,6B | 0,6B |
| Interfaz de inferencia | Transformers | Transformers |
Los 12 idiomas incorporados son:
- Árabe
- Finés
- Hindi
- Indonesio
- Malayo
- Noruego
- Portugués
- Ruso
- Sueco
- Tailandés
- Turco
- Vietnamita
Esta ampliación permite utilizar el modelo en más idiomas sin cambiar de familia de modelos ni de interfaz de inferencia.
Arquitectura DualAR: dos ramas para producir el audio
Audio8-TTS-Realistic utiliza una arquitectura DualAR (doble autorregresión) inspirada en Fish Audio S2 Pro.
Su funcionamiento combina dos ramas con responsabilidades diferentes: una rama lenta que procesa la secuencia principal y una rama rápida que completa la representación acústica.
La rama lenta está basada en Qwen2.5 0.5B. Cuenta con 24 capas y un ancho de 896, y trabaja aproximadamente a 21,5 fotogramas por segundo. Su función consiste en predecir los tokens de texto y el primer codebook de audio.
La rama rápida utiliza cuatro capas y predice en paralelo los nueve codebooks restantes.
| Componente | Configuración |
|---|---|
| Arquitectura | DualAR |
| Base de la rama lenta | Qwen2.5 0.5B |
| Capas de la rama lenta | 24 |
| Ancho de la rama lenta | 896 |
| Procesamiento aproximado | 21,5 fotogramas/s |
| Capas de la rama rápida | 4 |
| Codebooks generados por la rama rápida | 9, en paralelo |
| Frecuencia del códec neuronal | 44,1 kHz |
| Parámetros del modelo principal | 601 millones, sin incluir el códec |
La separación entre ambas ramas permite que el procesamiento secuencial se concentre en la generación de fotogramas, mientras la rama rápida completa los componentes acústicos asociados.
Un entrenamiento en tres etapas centrado en el realismo de la voz
El entrenamiento de Audio8-TTS-Realistic incorpora tres etapas que combinan aprendizaje supervisado, optimización mediante recompensas y evaluación del realismo de la voz generada.
Primera etapa: entrenamiento supervisado multilingüe
La primera fase utiliza ajuste fino supervisado (Supervised Fine-Tuning, SFT) con datos multilingües.
Esta etapa proporciona la base para la generación de voz en los diferentes idiomas contemplados por el modelo.
Segunda etapa: optimización mediante GRPO
La segunda fase aplica GRPO con una recompensa que combina dos métricas: la tasa de error de palabras (WER) y la similitud de voz (SIM).
La ponderación utilizada es:
| Métrica | Peso en la recompensa |
|---|---|
| WER, error de reconocimiento de palabras | 0,7 |
| SIM, similitud de voz | 0,3 |
La combinación permite incorporar tanto la precisión del contenido hablado como la semejanza de la voz generada.
Tercera etapa: un evaluador aprendido del realismo
La última fase introduce un componente diferente: un crítico de realismo entrenado para evaluar la naturalidad de las salidas de audio.
Este evaluador compara cada generación con una grabación humana emparejada que contiene la misma frase.
Para construir su escala de calidad, Edge0 utilizó seis sistemas TTS de código abierto, ordenados mediante un estudio privado de escucha ciega. Las grabaciones humanas ocuparon la parte superior de esa escala.
El entrenamiento también incorporó compresión sintética de pausas para añadir niveles intermedios de calidad.
El crítico está formado por una cabeza de aproximadamente tres millones de parámetros situada sobre un codificador WavLM-large congelado.
Además, incorpora una pérdida de borrado de identidad para evitar que el evaluador favorezca características particulares del generador.
Otro componente es una penalización de duración que se activa cuando el audio generado supera 1,35 veces la longitud de la grabación de referencia.
Con estos elementos, la tercera etapa utiliza GRPO guiado por una evaluación aprendida del realismo, además de las métricas de precisión y similitud.
El entrenamiento final mejora los resultados en 13 idiomas de menos recursos
Un resultado destacado del informe de Edge0 es que la etapa final de entrenamiento utilizó únicamente prompts en chino e inglés, pero produjo mejoras en el conjunto de 13 idiomas de menos recursos evaluados.
La tasa de error pasó del 22,53 % al 20,77 %, mientras que la similitud de voz aumentó de 0,637 a 0,679.
| Métrica | Antes de la etapa final | Después de la etapa final |
|---|---|---|
| Error medio en 13 idiomas de menos recursos | 22,53 % | 20,77 % |
| Similitud de voz (SIM) | 0,637 | 0,679 |
Los resultados comunicados por Edge0 muestran una reducción del error y una mejora de la similitud de voz en este conjunto multilingüe, aunque los prompts empleados en la última fase se concentraron en dos idiomas.
Benchmarks de Audio8-TTS-Realistic: resultados en Seed-TTS, CV3 y MiniMax
Edge0 publicó evaluaciones del modelo en tres conjuntos de pruebas: Seed-TTS, CV3 y MiniMax.
Los resultados incluyen métricas de error de transcripción y similitud de voz.
En las métricas de error, un porcentaje menor representa un mejor resultado. En SIM, un valor mayor indica mayor similitud.
Resultados generales comunicados por Edge0
| Benchmark | Cobertura evaluada | Error medio | SIM |
|---|---|---|---|
| Seed-TTS | Inglés y chino | 1,25 % | 0,704 |
| CV3 | 9 idiomas | 4,86 % | 0,661 |
| MiniMax | 24 idiomas | 5,89 % | 0,754 |
Estos valores corresponden a los resultados comunicados por Edge0 en su documentación y evaluación del modelo.
Comparativa con otros modelos en CV3
En el benchmark CV3, que contempla nueve idiomas, Audio8-TTS-Realistic registra un error medio del 4,86 %.
La cifra lo sitúa por delante de VoxCPM2, CosyVoice3-1.5B y Qwen3-TTS-1.7B en la comparación publicada.
Higgs TTS 3 obtiene el menor error dentro de los modelos incluidos en esta tabla.
| Modelo | Error medio CV3 |
|---|---|
| Higgs TTS 3 | 4,41 % |
| Audio8-TTS-Realistic | 4,86 % |
| VoxCPM2 | 5,35 % |
| CosyVoice3-1.5B | 6,89 % |
| Qwen3-TTS-1.7B | 7,73 % |
Comparativa en MiniMax: 24 idiomas
En el conjunto MiniMax, Audio8-TTS-Realistic alcanza un error medio del 5,89 %.
Higgs TTS 3 registra el menor error de los modelos comparados, con un 2,74 %.
Por su parte, Qwen3-TTS-1.7B obtiene un 27,41 %, aunque Edge0 señala que ese modelo admite oficialmente solo 10 de los 24 idiomas incluidos en la evaluación.
| Modelo | Error medio MiniMax |
|---|---|
| Higgs TTS 3 | 2,74 % |
| Audio8-TTS-Realistic | 5,89 % |
| Qwen3-TTS-1.7B | 27,41 % |
Edge0 advierte que las diferencias entre las pipelines de evaluación y los sistemas de normalización de texto afectan la comparación entre modelos. Por este motivo, presenta su tabla como una comparación de referencia.
Los idiomas con mayores errores en las evaluaciones
Los resultados por idioma también reflejan diferencias de precisión.
Entre los casos con mayor error comunicados en las evaluaciones destacan el tailandés en CV3 y el cantonés en MiniMax.
| Idioma | Benchmark | Métrica | Error |
|---|---|---|---|
| Tailandés | CV3 | WER | 48,57 % |
| Cantonés | MiniMax | CER | 31,35 % |
En el primer caso se utiliza WER, la tasa de error de palabras, mientras que el segundo corresponde a CER, la tasa de error de caracteres.
Estas cifras muestran que la cobertura multilingüe del modelo presenta diferencias importantes según el idioma y el conjunto de evaluación.
Despliegue e integración: Transformers y SGLang Omni
Audio8-TTS-Realistic mantiene compatibilidad con el ecosistema Transformers utilizado por su versión Preview.
La documentación del proyecto contempla PyTorch 2.5 o superior y Transformers 4.57 o superior, además de la carga de código personalizado mediante trust_remote_code=True.
Para su ejecución se recomienda una GPU compatible con CUDA. El modelo fue comprobado en una NVIDIA H20 utilizando BF16.
El informe técnico también recoge una configuración de inferencia en CPU Apple M2 mediante ONNX INT4, con un consumo máximo de memoria de entre 1,1 y 1,2 GiB. Esa cifra corresponde a la configuración descrita en el informe y, por el momento, la versión Realistic no dispone de una exportación ONNX pública.
Integración con SGLang Omni
El proyecto incorpora un adaptador para SGLang Omni destinado al servicio de generación de voz.
Este adaptador incluye:
- Paged attention.
- Agrupación dinámica de solicitudes (dynamic batching).
- Una API de síntesis de voz compatible con OpenAI mediante la ruta /v1/audio/speech.
La documentación presenta estas capacidades de integración por separado de las mediciones de rendimiento y streaming, que no forman parte de los benchmarks comunicados.
Playground gratuito en Hugging Face
Edge0 también ofrece un Playground interactivo gratuito alojado en Hugging Face ZeroGPU.
Este entorno permite acceder a las funciones de generación y clonación de voz del modelo.
Su disponibilidad depende de la cola de solicitudes y de la asignación diaria de recursos GPU de la plataforma.
Edge0 en contexto
Edge0 desarrolla la familia Audio8 TTS, integrada por modelos de generación de voz. Audio8-TTS-Realistic-0.6b es el segundo lanzamiento de 0,6B de esta familia y parte de Audio8-TTS-Preview-0.6b, conservando su interfaz de inferencia basada en Transformers.
El proyecto distribuye los pesos del modelo Realistic bajo Apache 2.0 y publica sus recursos técnicos en Hugging Face.
Un modelo compacto que incorpora evaluación del realismo
Audio8-TTS-Realistic reúne varias características en un modelo principal de 601 millones de parámetros: clonación de voz zero-shot, generación sin referencia, soporte para 23 idiomas y una arquitectura DualAR.
Su principal novedad de entrenamiento está en la incorporación de un crítico aprendido que evalúa el realismo de la voz generada mediante comparaciones con grabaciones humanas.
Las evaluaciones comunicadas por Edge0 registran un error medio del 4,86 % en CV3 y del 5,89 % en MiniMax, además de mejoras en las métricas de los 13 idiomas de menos recursos tras la última etapa de entrenamiento.
El lanzamiento amplía así la familia Audio8 con una versión centrada en el realismo y en la cobertura multilingüe, manteniendo los pesos abiertos y la integración con herramientas de inferencia existentes.
