AssemblyAI-TTS-1: un modelo de voz diseñado para llamadas en vivo
AssemblyAI anunció el 29 de octubre de 2026 el lanzamiento de AssemblyAI-TTS-1, su primer modelo de generación de voz a partir de texto, que ya está disponible de forma general.
El sistema está orientado a desarrolladores que construyen agentes de voz para llamadas telefónicas en directo, un entorno en el que la rapidez de respuesta y la pronunciación correcta de nombres, números y otros datos pueden determinar la continuidad de una conversación.
Según AssemblyAI, el modelo fue entrenado con millones de horas de audio, incluidos datos procedentes de conversaciones reales. Su arquitectura utiliza representaciones continuas de audio en lugar de tokens discretos, un enfoque que, de acuerdo con la empresa, contribuye a generar voces más realistas y reducir el tiempo necesario para comenzar a reproducir el habla.
Precio de AssemblyAI-TTS-1: 15 dólares por millón de caracteres
AssemblyAI comercializa TTS-1 mediante una tarifa de 15 dólares por cada millón de caracteres de entrada, incluidos espacios y signos de puntuación.
El servicio funciona bajo un modelo de pago por uso, sin necesidad de contratar un plan anual, adquirir niveles adicionales de concurrencia ni cumplir consumos mínimos.
La misma tarifa incluye:
- Acceso a todas las voces disponibles.
- Clonación instantánea de voz.
- Marcas de tiempo por palabra.
- Procesamiento en la región europea.
- Concurrencia ilimitada en la modalidad de pago por uso.
Como referencia, Inworld TTS-2 Flash también ofrece una tarifa bajo demanda de 15 dólares por millón de caracteres, aunque establece un límite de cinco solicitudes concurrentes en esa modalidad. Sus planes de pago contemplan un precio de 7 dólares por millón.
Seis idiomas y una biblioteca de más de 4.000 voces
El modelo llega con una biblioteca de más de 4.000 voces y compatibilidad inicial con seis idiomas:
- Inglés.
- Español.
- Francés.
- Alemán.
- Italiano.
- Portugués.
Además de las voces disponibles en el catálogo, AssemblyAI incorpora una función de clonación instantánea que permite generar una voz personalizada a partir de una grabación breve.
En el ejemplo presentado durante el lanzamiento, la empresa utilizó 24 segundos de audio para crear una voz clonada.
El proceso exige confirmar que se dispone del permiso de la persona cuya voz se quiere reproducir.
API HTTP, WebSocket y compatibilidad con OpenAI
AssemblyAI-TTS-1 dispone de tres interfaces principales para integrarse en aplicaciones y sistemas de telefonía:
- API HTTP: permite acceder al servicio mediante solicitudes HTTP.
- API WebSocket: mantiene una conexión por conversación y admite mensajes de cancelación para gestionar interrupciones del usuario, conocidas como barge-in.
- Ruta compatible con OpenAI: ofrece una interfaz compatible con ese formato de integración.
Formatos de audio y marcas de tiempo
El servicio admite audio mono en PCM, mu-law y A-law, con frecuencias de muestreo comprendidas entre 8 kHz y 48 kHz.
Su formato nativo es PCM de 24 kHz, mientras que los sistemas de telefonía pueden solicitar directamente audio mu-law de 8 kHz.
TTS-1 también proporciona marcas de tiempo por palabra, que permiten relacionar cada palabra generada con su posición temporal dentro del audio.
Para facilitar las integraciones, AssemblyAI publicó agentes de referencia construidos con LiveKit y Pipecat.
Resultados de AssemblyAI-TTS-1: precisión, naturalidad y latencia
AssemblyAI presentó una evaluación propia realizada el 28 de octubre de 2026, en la que comparó cinco modelos mediante cuatro conjuntos de evaluación en inglés y 50 voces clonadas emparejadas.
Pruebas internas de AssemblyAI
| Métrica | AssemblyAI-TTS-1 | Resultados de otros modelos |
|---|---|---|
| Precisión de entidades | 93,7% | ElevenLabs v4: 93,6%; Cartesia Sonic 3.6: 82,5%; ElevenLabs Flash v2.5: 68,0% |
| Precisión de palabras | 99,0% | Evaluación con frases de Seed-TTS y LibriSpeech |
| MOS previsto | 3,85 | Inworld TTS-2 Flash: 3,88; Sonic 3.6: 3,82 |
| Mediana de tiempo al primer byte | 47 ms | ElevenLabs Flash v2.5: 119 ms; Sonic 3.6: 143 ms; Inworld TTS-2 Flash: 244 ms |
| Prosodia TTSDS | 85,5 | — |
| Similitud de hablante en audio clonado | 0,64 | — |
La precisión de entidades se calculó utilizando 580 objetivos difíciles, entre ellos números de teléfono y códigos.
En esa prueba, TTS-1 obtuvo un 93,7%, prácticamente igualando el 93,6% de ElevenLabs v4. AssemblyAI destaca que alcanza ese resultado con un precio inferior a una quinta parte del correspondiente al modelo de ElevenLabs.
Qué muestran los benchmarks independientes
En el benchmark independiente de Cekura, que incluye 27 modelos, AssemblyAI-TTS-1 obtuvo un 81,5% de precisión de lectura y una puntuación de naturalidad de 4,50.
En la medición de latencia de streaming, TTS-1 registró 159 milisegundos de mediana y ocupó el octavo puesto entre 19 modelos evaluados para esa métrica.
| Métrica de Cekura | AssemblyAI-TTS-1 | Inworld TTS-2 Flash |
|---|---|---|
| Precisión de lectura | 81,5% | 93,2% |
| Naturalidad | 4,50 | — |
| Mediana de latencia de streaming | 159 ms | 45 ms |
La latencia de streaming de Cekura se mide desde la última palabra enviada al sistema. Se trata de una medición diferente del tiempo al primer byte presentado en la evaluación interna de AssemblyAI, por lo que ambas cifras corresponden a metodologías distintas.
AssemblyAI también cita otros dos resultados externos:
- Coval: una tasa de error de palabras del 1,7% en su ranking.
- Artificial Analysis: entrada de TTS-1 entre los diez primeros puestos de su arena de voz controlada.
Disponibilidad regional y alojamiento en la nube
AssemblyAI-TTS-1 se ofrece como un servicio alojado en la infraestructura de nube de AssemblyAI, con dos regiones disponibles:
| Región | Ubicación |
|---|---|
| us-east-1 | Estados Unidos |
| eu-north-1 | Unión Europea |
El lanzamiento no contempla pesos abiertos del modelo ni una modalidad de ejecución local. El procesamiento se realiza en la nube de AssemblyAI.
Funciones que todavía faltan en TTS-1
Hay cuatro capacidades que todavía no están disponibles en esta primera versión:
- SSML: marcado para controlar aspectos de la síntesis de voz.
- Control de velocidad: ajuste directo de la velocidad del habla.
- Diccionarios de pronunciación: personalización de la pronunciación de términos específicos.
- Etiquetas de emoción: controles explícitos para indicar emociones en el audio generado.
AssemblyAI en contexto
AssemblyAI amplía su catálogo con TTS-1, su primer modelo de texto a voz.
La empresa ya ofrece tecnología de reconocimiento de voz, por lo que el lanzamiento incorpora la capacidad de generar audio hablado a su oferta existente.
Para los desarrolladores que utilizan el reconocimiento de voz de AssemblyAI, TTS-1 permite completar el circuito de entrada y salida de voz con un mismo proveedor.
