AssemblyAI
ГолосAssemblyAIAssemblyAI-TTS-1синтез речиголосовые агентыElevenLabs

AssemblyAI выпустила первую TTS-модель: $15 за миллион символов, 6 языков

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
AssemblyAI выпустила первую TTS-модель: $15 за миллион символов, 6 языков

AssemblyAI вывела в общий доступ AssemblyAI-TTS-1, свою первую модель синтеза речи. Она рассчитана на голосовых агентов в живых телефонных разговорах. Стоит $15 за 1 млн символов, без годового контракта и без отдельных тарифов на параллельные сессии. На старте поддерживаются 6 языков: английский, испанский, французский, немецкий, итальянский и португальский.

Что внутри

Модель обучена на миллионах часов аудио, включая разговорные записи. По словам AssemblyAI, она работает не с дискретными аудиотокенами, как большинство TTS, а с непрерывными представлениями звука. Компания связывает с этим и реалистичность, и более быстрый первый звук. Проверить это снаружи нельзя: веса закрыты, модель работает только в облаке AssemblyAI, в регионах us-east-1 (США) или eu-north-1 (ЕС). Локального развертывания нет.

В комплекте больше 4000 голосов и мгновенное клонирование. Для клона нужна короткая запись (в примере из анонса хватило 24 секунд) и подтверждение, что владелец голоса согласен.

Подключаться можно тремя способами: HTTP API, WebSocket и маршрут, совместимый с OpenAI. В WebSocket одно соединение живет на весь диалог, а команда cancel позволяет прервать речь, когда собеседник перебивает агента. Выход - моно PCM, mu-law или A-law, от 8 до 48 кГц. Родной формат - PCM 24 кГц, а телефонии можно сразу отдавать 8 кГц mu-law. Есть метки времени по словам. Для LiveKit и Pipecat опубликованы эталонные агенты.

Цифры: свои и чужие

AssemblyAI сравнила TTS-1 с пятью моделями на четырех английских наборах, взяв 50 клонированных голосов. Это собственный замер от 28 октября, независимой проверки у него нет.

- Точность на сложных сущностях (580 целей вроде телефонных номеров и кодов): 93,7% против 93,6% у ElevenLabs v4, 82,5% у Cartesia Sonic 3.6 и 68,0% у ElevenLabs Flash v2.5. - Точность слов на Seed-TTS и LibriSpeech: 99,0%. - Предсказанный MOS: 3,85, чуть ниже Inworld TTS-2 Flash (3,88) и выше Sonic 3.6 (3,82). - Медианное время до первого байта в собственном API-тесте AssemblyAI: 47 мс, у Flash v2.5 - 119 мс, у Sonic 3.6 - 143 мс, у Inworld TTS-2 Flash - 244 мс. Это самостоятельно заявленная цифра для этого теста, а не общая характеристика модели.

Независимый бенчмарк Cekura, как его приводит MarkTechPost, рисует более сдержанную картину. Из 27 моделей TTS-1 набрала 81,5% по точности чтения и 4,50 по естественности. Медианная задержка потока, которую считают от последнего отправленного слова, составила 159 мс, восьмое место из 19 измеренных моделей. Inworld TTS-2 Flash там показала 45 мс и 93,2% точности при той же цене $15. Еще AssemblyAI ссылается на 1,7% ошибок по словам в рейтинге Coval и место в первой десятке арены Artificial Analysis.

Итог такой: по точности на номерах и кодах модель на уровне дорогого ElevenLabs v4, а по скорости и аккуратности чтения у нее есть сильный конкурент по той же цене.

Сколько это стоит

AssemblyAI исходит из 600 символов на минуту телефонной речи. При 10 000 минут в месяц это 6 млн символов. По прайс-листам получается около $90 у AssemblyAI-TTS-1, $240 у ElevenLabs Flash v2.5 ($40 за миллион) и $480 у ElevenLabs v4 ($80 за миллион). Отдельная плата за параллельные звонки в такой расчет не входит: у AssemblyAI ее нет.

Чего пока нет

В WebSocket нет параметров скорости, высоты, эмоций и стиля, а SSML не принимает ни один из API. Нет и словарей произношения. Для агента, который зачитывает названия брендов или специфические термины, это ограничение: придется подгонять текст и пунктуацию вручную.

Главный довод в пользу TTS-1 - удобство для тех, кто уже распознает речь через AssemblyAI: распознавание и синтез приходят от одного поставщика. Всем остальным стоит прогнать модель на своих репликах и своих телефонных каналах, прежде чем верить цифрам из анонса.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости