E
ГолосEdge0Audio8-TTS-RealisticTTSклонирование голосаopen-source

Edge0 открыла TTS-модель на 0,6 млрд параметров с клонированием голоса на 23 языках

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Edge0 открыла TTS-модель на 0,6 млрд параметров с клонированием голоса на 23 языках

Компания Edge0 опубликовала веса и код Audio8-TTS-Realistic: это открытая модель синтеза речи, которая клонирует голос по одной референсной записи и ее транскрипту. В модели 601 млн параметров без учета аудиокодека, лицензия Apache 2.0, поддерживается 23 языка. У предыдущей версии Audio8-TTS-Preview-0.6b их было 11, так что добавилось 12: арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский.

Что внутри

Архитектура двухконтурная (DualAR), авторы вдохновлялись Fish Audio S2 Pro. Медленная ветка построена на Qwen2.5 0.5B: 24 слоя, ширина 896, около 21,5 кадра в секунду. На каждом шаге она предсказывает текстовые токены и первый аудиокодбук. Остальные 9 кодбуков параллельно досчитывает неглубокая четырехслойная быстрая ветка. Последовательные вычисления поэтому идут только на уровне кадров, а не отдельных кодов. В репозитории лежат чекпойнт, кодек на 44,1 кГц, токенизатор и процессор. Речь можно генерировать и без референсного голоса.

Обучение на "реалистичность"

Авторы считают, что WER и сходство голоса (SIM) не ловят ритм, паузы и тайминг: модель может хорошо проходить обе метрики и все равно звучать синтетически. Поэтому после мультиязычной SFT они провели GRPO с наградой из двух частей (0,7 за WER и 0,3 за SIM), а затем еще один GRPO уже под управлением обученного критика реалистичности.

Критик сравнивает результат с живой записью той же фразы. Его учили на "лестнице качества": шесть открытых TTS-систем, которые ранжировали в закрытом слепом прослушивании, а человеческие записи стояли наверху. Голова критика - около 3 млн параметров поверх замороженного WavLM-large. Чтобы модель не обманывала критика замедлением речи, добавлен штраф за длительность свыше 1,35 от референса.

Заключительный этап шел только на китайских и английских промптах, но улучшил результат и на 13 менее представленных языках: ошибка упала с 22,53% до 20,77%, SIM вырос с 0,637 до 0,679.

Цифры и слабые места

На CV3 (9 языков) средняя ошибка составила 4,86% против 7,73% у Qwen3-TTS-1.7B, то есть модель втрое меньше по размеру обходит более крупную открытую. На MiniMax она уступает моделям класса 4B. Есть и провалы: 48,57% WER на тайском в CV3 и 31,35% CER на кантонском в MiniMax. Для тайского и кантонского без дообучения брать ее рано. Все цифры взяты из технического отчета самой Edge0, независимых замеров мы не видели.

Как запускать

Загрузка идет через Transformers (PyTorch 2.5+, Transformers 4.57+) с флагом trust_remote_code, идентификатор модели - Edge0/Audio8-TTS-Realistic-0.6b. Рекомендуется GPU с CUDA, проверка проводилась на NVIDIA H20 в BF16. Для серверного режима есть адаптер SGLang Omni с paged attention, динамическим батчингом и OpenAI-совместимым эндпоинтом /v1/audio/speech. Пропускную способность и стриминг Edge0 не измеряла, так что задержку для голосового ассистента придется мерить самим.

На CPU отчет обещает 1,1-1,2 ГиБ пиковой памяти на Apple M2 в INT4 ONNX, но публичного ONNX-экспорта для Realistic-версии пока нет.

Модель такого размера дешево дообучать под свой голос или язык, а лицензия разрешает коммерческое использование. Для русскоязычных проектов это еще один вариант локальной озвучки, но для выбора стоит прогнать собственные тексты: отдельных цифр по русскому в источнике нет.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости