Edge0 открыла TTS-модель на 0,6 млрд параметров с клонированием голоса на 23 языках

Компания Edge0 опубликовала веса и код Audio8-TTS-Realistic: это открытая модель синтеза речи, которая клонирует голос по одной референсной записи и ее транскрипту. В модели 601 млн параметров без учета аудиокодека, лицензия Apache 2.0, поддерживается 23 языка. У предыдущей версии Audio8-TTS-Preview-0.6b их было 11, так что добавилось 12: арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский.
Что внутри
Архитектура двухконтурная (DualAR), авторы вдохновлялись Fish Audio S2 Pro. Медленная ветка построена на Qwen2.5 0.5B: 24 слоя, ширина 896, около 21,5 кадра в секунду. На каждом шаге она предсказывает текстовые токены и первый аудиокодбук. Остальные 9 кодбуков параллельно досчитывает неглубокая четырехслойная быстрая ветка. Последовательные вычисления поэтому идут только на уровне кадров, а не отдельных кодов. В репозитории лежат чекпойнт, кодек на 44,1 кГц, токенизатор и процессор. Речь можно генерировать и без референсного голоса.
Обучение на "реалистичность"
Авторы считают, что WER и сходство голоса (SIM) не ловят ритм, паузы и тайминг: модель может хорошо проходить обе метрики и все равно звучать синтетически. Поэтому после мультиязычной SFT они провели GRPO с наградой из двух частей (0,7 за WER и 0,3 за SIM), а затем еще один GRPO уже под управлением обученного критика реалистичности.
Критик сравнивает результат с живой записью той же фразы. Его учили на "лестнице качества": шесть открытых TTS-систем, которые ранжировали в закрытом слепом прослушивании, а человеческие записи стояли наверху. Голова критика - около 3 млн параметров поверх замороженного WavLM-large. Чтобы модель не обманывала критика замедлением речи, добавлен штраф за длительность свыше 1,35 от референса.
Заключительный этап шел только на китайских и английских промптах, но улучшил результат и на 13 менее представленных языках: ошибка упала с 22,53% до 20,77%, SIM вырос с 0,637 до 0,679.
Цифры и слабые места
На CV3 (9 языков) средняя ошибка составила 4,86% против 7,73% у Qwen3-TTS-1.7B, то есть модель втрое меньше по размеру обходит более крупную открытую. На MiniMax она уступает моделям класса 4B. Есть и провалы: 48,57% WER на тайском в CV3 и 31,35% CER на кантонском в MiniMax. Для тайского и кантонского без дообучения брать ее рано. Все цифры взяты из технического отчета самой Edge0, независимых замеров мы не видели.
Как запускать
Загрузка идет через Transformers (PyTorch 2.5+, Transformers 4.57+) с флагом trust_remote_code, идентификатор модели - Edge0/Audio8-TTS-Realistic-0.6b. Рекомендуется GPU с CUDA, проверка проводилась на NVIDIA H20 в BF16. Для серверного режима есть адаптер SGLang Omni с paged attention, динамическим батчингом и OpenAI-совместимым эндпоинтом /v1/audio/speech. Пропускную способность и стриминг Edge0 не измеряла, так что задержку для голосового ассистента придется мерить самим.
На CPU отчет обещает 1,1-1,2 ГиБ пиковой памяти на Apple M2 в INT4 ONNX, но публичного ONNX-экспорта для Realistic-версии пока нет.
Модель такого размера дешево дообучать под свой голос или язык, а лицензия разрешает коммерческое использование. Для русскоязычных проектов это еще один вариант локальной озвучки, но для выбора стоит прогнать собственные тексты: отдельных цифр по русскому в источнике нет.
Источники
Похожие новости
AssemblyAI выпустила первую TTS-модель: $15 за миллион символов, 6 языков
AssemblyAI запустила AssemblyAI-TTS-1, синтез речи для голосовых агентов. Цена $15 за 1 млн символов без годового контракта и без отдельной платы за параллельные сессии, но SSML и управления скоростью пока нет.
Ollama v0.40.11-rc0: каталог голосов Phonon и что было в предыдущем релизе
Ollama выпустил release candidate v0.40.11 с обновлением каталога голосов Phonon. Синтез речи и модели d3 появились раньше - в v0.40.9 от 22 октября.
Block выпустил Dessa: первая ИИ-модель, обученная только на человеческой речи
Dessa от компании Block не переводит речь в текст - она слышит эмоции, сарказм и паузы напрямую из аудио. Это меняет подход к голосовому ИИ.