D
ИИ-чатDharma-AIтокенизатороптимизация инференсаVocabXQwen3

Как специализация словаря модели режет расходы на инференс на 77%

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Как специализация словаря модели режет расходы на инференс на 77%

Токенизатор в мире языковых моделей - это деталь, о которой почти никто не думает после выбора базовой модели. Взял Qwen, Gemma или Llama, унаследовал их словарь - и пошел файнтюнить. Команда Dharma-AI из Бразилии решила проверить, насколько дорого обходится эта привычка, и получила результат, который меняет взгляд на оптимизацию специализированных моделей.

Что за задача и откуда цифра 77%

Dharma-AI запускает в продакшене автоматическую проверку португальских школьных сочинений. Модель - Qwen3-4B, 4 миллиарда параметров, уже дообученная под задачу. На вход приходит текст эссе, задание и вспомогательные материалы, на выходе - JSON с оценкой и комментарием по каждому критерию.

Проблема вскрылась при анализе токенизации: оригинальный токенизатор Qwen3-4B построен под десятки языков и задач - от китайского до исходного кода. Для системы, которая пишет только на португальском и всегда в одном JSON-формате, это означало два вида расточительства одновременно.

Первое - фрагментация. Токенизатор бил на множество кусков именно то, что модель повторяет в каждом ответе: обертку JSON, названия критериев, стандартные оценочные фразы. Там, где хватило бы одного токена, тратилось несколько.

Второе - балласт. Словарь содержит 151 669 записей. На каждом шаге генерации модель вычисляет вероятность для всех из них - включая тысячи токенов китайского языка, которые грейдер португальских сочинений не напишет никогда.

Команда разработала метод VocabX и пересобрала словарь, ориентируясь не на частоту токенов в обучающих данных, а на стоимость каждого токена при инференсе. Веса модели, данные и рецепт обучения остались прежними. По их измерениям, стоимость инференса упала на 77%.

Почему генерация дороже обработки входа

Чтобы понять, почему размер словаря так критичен, нужно разобраться в архитектуре инференса. Он проходит в двух фазах.

Фаза prefill: модель обрабатывает весь входной контекст за один проход. Каждый вес читается из памяти GPU один раз и переиспользуется для всех токенов входа. Узкое место здесь - вычисления, а не память.

Фаза decode: модель генерирует ответ по одному токену за шаг. На каждом шаге она читает все веса заново из памяти GPU. Узкое место - пропускная способность памяти. И именно здесь размер head проекции на весь словарь платит налог на каждый лишний токен в словаре.

Проще говоря: чем больше словарь, тем дороже каждый сгенерированный токен - даже если большинство записей в словаре никогда не попадают в вывод. VocabX атакует обе проблемы сразу: сокращает длину генерируемой последовательности за счет более плотной токенизации доменного текста и уменьшает размер словаря, убирая записи, которые задаче не нужны.

Насколько это применимо за пределами одного кейса

CTO компании Elisa Mussumeci строила Dharma-AI вокруг идеи специализации моделей под конкретные отрасли. VocabX - это логичное продолжение той же философии, только примененное на шаг раньше: не к весам, а к словарю.

Где метод работает лучше всего - там, где модель генерирует структурированный или повторяющийся текст в узком домене. Юридические контракты с шаблонными клаузулами, медицинские отчеты в фиксированном формате, код на одном языке программирования, финансовые аналитические резюме. Во всех этих случаях общий словарь тратит токены на фрагментацию того, что является для задачи самыми частотными конструкциями.

Где выигрыш будет скромнее - на задачах с разнообразным, непредсказуемым выводом или при работе с несколькими языками одновременно. Специализация словаря - это ставка на то, что вы точно знаете, что модель будет писать.

Сравнение с альтернативными подходами к удешевлению инференса показательно. Квантизация весов (INT8, INT4) дает 2-4x снижение потребления памяти, но требует компромисса с качеством. Дистилляция - дорогостоящий процесс, который меняет саму модель. Speculative decoding помогает с латентностью, но не снижает стоимость токена. VocabX при этом не трогает веса вообще - это чисто инженерное решение на уровне интерфейса между текстом и моделью.

Что это значит для разработчиков и бизнеса

Для тех, кто строит продукты на специализированных моделях, вывод практичный: токенизатор - не константа, а параметр оптимизации. Особенно если вы платите за каждый токен в облаке или считаете GPU-часы в собственной инфраструктуре.

77% - это цифра, измеренная командой на одной конкретной нагрузке. Сам paper еще проходит рецензирование, и финальные числа могут измениться. Но даже если реальный выигрыш в других задачах окажется вдвое скромнее, это все равно меняет экономику проекта.

Для российских разработчиков, работающих с моделями через собственный деплой (что сейчас распространено в силу ограниченного доступа к западным API), подход особенно интересен: он снижает нагрузку на GPU без покупки дополнительного железа. Hugging Face как платформа доступна через VPN, сам метод открытый.

Полная версия статьи опубликована в блоге Hugging Face командой Dharma-AI, paper находится на финальной стадии подготовки к публикации.

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения