LABЛаборатория gen-hubТесты и замеры · 28 октября · ⏱ 15 мин

Что такое токены в нейросети и почему русский текст дороже: замер 23 моделей

Токен - это кусок текста, которым нейросеть читает и считает: слово, часть слова или знак препинания. Мы прогнали одни и те же тексты на русском и английском через 23 модели, посчитали токены во всей "Войне и мире", цену русского текста в рублях и проверили, правда ли Claude берет за русский язык вчетверо больше, чем GPT.

Моделей23
Разных токенизаторов14
"Война и мир"2,9 млн знаков
Стоимость замера$1.64
Дата замера28.10.2026

Результаты

МодельТокенов на 1000 знаков русского текстаЗнаков в токене: русский / английскийРусский текст в токенах длиннее английского
Alice AI (открытая версия)
205
4,9 / 4,6−8%
GigaChat 3.5 (открытая версия)
225
4,4 / 4,7+2%
Qwen 3.8
260
3,8 / 4,7+18%
Gemini 3.8 Flash
266
3,8 / 4,6+20%
GPT-6.1 Sol, GPT-6 Luna, GPT-5.5
269
3,7 / 4,8+25%
Grok 4.7
271
3,7 / 4,8+26%
GLM-5.3
276
3,6 / 4,7+27%
Mistral Large 4
280
3,6 / 4,7+29%
DeepSeek V4.1
318
3,1 / 4,8+47%
MiMo V2.6
346
2,9 / 4,7+58%
MiniMax M3.1
347
2,9 / 4,8+62%
Kimi K3.1
403
2,5 / 4,8+87%
Claude Opus 5.5, Sonnet 5.5, Haiku 5.5, Fable 5.1
413
2,4 / 3,3+31%
Claude Sonnet 4.6 (прошлый токенизатор)
412
2,4 / 4,5+82%

Корпус: шесть одинаковых по смыслу текстов на русском (4 119 знаков) и английском (4 224 знака). Счет через API OpenRouter 28.10.2026, у Alice AI и GigaChat 3.5 по открытым токенизаторам. Чем короче полоса, тем дешевле русский текст при той же цене за токен.

⬇ Скачать токены по каждому тексту и модели (CSV)

Коротко

  • Токен - это кусок текста, из которых нейросеть собирает и читает текст. В английском у всех моделей, кроме Claude, один токен в среднем равен 4,6-4,8 знака. В русском от 2,4 до 4,9 знака, в зависимости от модели.
  • Дешевле всего русский текст выходит в моделях с русским словарем. Открытые Alice AI от Яндекса и GigaChat 3.5 от Сбера тратят на 1000 знаков 205 и 225 токенов. У Alice AI русский текст даже короче английского.
  • GPT-6.1, Gemini 3.8, Qwen 3.8 и Grok 4.7 тратят на 1000 знаков русского текста 260-271 токен. Это на 18-26% больше, чем на тот же текст по-английски.
  • Больше всех токенов на русский уходит у Claude: 413 на 1000 знаков, в 1,5 раза больше, чем у GPT. Но не в 3,9 раза, как писали в начале октября: мы перепроверили то исследование на его же текстах.
  • "Война и мир" целиком занимает от 707 тысяч токенов в Alice AI до 1,24 миллиона в Claude. В окно в 1 миллион токенов русский роман не помещается у Claude, Kimi K3.1 и MiMo V2.6.
  • Самая дорогая ошибка - отправлять в модель JSON, где русские буквы записаны кодами вида \u041d. Такой текст занимает в 5,5-9,6 раза больше токенов.

Что такое токен простыми словами

Нейросеть не видит буквы и слова так, как их видим мы. Перед обработкой текст режется на куски, токены, и каждый кусок заменяется номером из словаря модели. Дальше модель работает только с номерами: читает запрос как цепочку токенов и пишет ответ тоже по одному токену за шаг.

Токеном может быть целое слово, часть слова, отдельная буква или знак препинания. Частые слова обычно лежат в словаре целиком, редкие и длинные режутся на куски. Вот как одну и ту же фразу режут разные токенизаторы:

GPT-6.1 (o200k), русский: 24 токена
Нейросеть считает не слова, а токены. Налогоплательщик заполнил декларацию.
GigaChat 3.5, русский: 20 токенов
Нейросеть считает не слова, а токены. Налогоплательщик заполнил декларацию.
Alice AI, русский: 18 токенов
Нейросеть считает не слова, а токены. Налогоплательщик заполнил декларацию.
GPT-6.1 (o200k), английский: 17 токенов
A neural network counts tokens, not words. The taxpayer filled out the tax return.

По-английски у GPT получилось 17 токенов, почти каждое слово стало одним токеном. По-русски у GPT 24 токена: "Налогоплательщик" распался на шесть кусков, "Нейросеть" на четыре. Словарь Alice AI собран с расчетом на русский, поэтому та же фраза занимает в нем 18 токенов, а слово "декларацию" - один токен. Токенизатор Claude закрыт, показать его разбивку нельзя, но по счету через API на русскую фразу у него уходит 33 токена, на английскую 27.

От числа токенов зависят три вещи: цена запроса в API (ее считают за миллион токенов), объем текста, который помещается в модель за один раз, и скорость ответа.

1 токен - это сколько символов

Зависит от модели и языка. По нашему замеру на обычной прозе:

  • английский текст: 4,6-4,8 знака на токен у всех моделей, кроме Claude, у Claude 3,3 знака;
  • русский текст в GPT, Gemini, Qwen, Grok, GLM и Mistral: 3,6-3,8 знака на токен, то есть 260-280 токенов на 1000 знаков;
  • русский текст в Claude и Kimi: 2,4-2,5 знака на токен, около 400-410 токенов на 1000 знаков;
  • русский текст в Alice AI и GigaChat 3.5: 4,4-4,9 знака на токен, 205-225 токенов на 1000 знаков.

Для быстрой прикидки: страница A4, это 1800 знаков с пробелами, занимает около 480 токенов в GPT и около 740 токенов в Claude.

Почему русский текст занимает больше токенов

Словарь токенизатора собирают по частоте: самые частые сочетания букв в обучающих текстах становятся отдельными токенами. Большая часть текстов, на которых учатся модели, написана на английском, поэтому английские слова чаще попадают в словарь целиком, а русские собираются из кусков.

Это видно по самим словарям. Мы посчитали, сколько токенов с русскими буквами в каждом открытом токенизаторе:

МодельТокенов в словареИз них с русскими буквамиТокенов на 1000 знаков русского
Alice AI129 02464 398 (49,9%)205
GigaChat 3.5128 01637 598 (29,4%)225
Qwen 3.8248 07718 519 (7,5%)260
GPT-6.1 (o200k)200 00014 067 (7,0%)269
GLM-5.3154 8569 723 (6,3%)276
DeepSeek V4.1129 2805 212 (4,0%)318
MiMo V2.6151 6753 989 (2,6%)346
MiniMax M3.1200 0614 004 (2,0%)347

Связь видна сразу: чем больше в словаре русских кусков, тем меньше токенов уходит на русский текст. У Alice AI половина словаря содержит русские буквы, и на 1000 знаков русского текста уходит 205 токенов. У MiniMax таких токенов 2%, и тот же текст занимает 347 токенов.

Есть и техническая причина. Большинство современных токенизаторов работают с байтами, а русская буква в кодировке UTF-8 занимает 2 байта, английская 1. Если подходящего куска в словаре нет, русская буква становится отдельным токеном, а в редких случаях и двумя. Вдобавок русские слова меняют окончания: "налогоплательщик", "налогоплательщика", "налогоплательщику" - разные цепочки букв, и словарю приходится покрывать все формы.

Сколько токенов уходит на русский текст в разных моделях

Таблица в начале статьи показывает главное: при одинаковой цене за токен русский текст в разных моделях стоит по-разному. Модели делятся на три группы.

  • С русским словарем: Alice AI и GigaChat 3.5. Русский текст занимает столько же токенов, сколько английский, или меньше. Мы считали по открытым версиям моделей, которые Яндекс и Сбер выложили на Hugging Face. В платных API этих компаний токенизатор может быть другим.
  • Большие американские и китайские модели: GPT-6.1, Gemini 3.8, Qwen 3.8, Grok 4.7, GLM-5.3 и Mistral Large 4. Русский текст длиннее английского на 18-29%, 260-280 токенов на 1000 знаков.
  • Модели, где русский заметно дороже: DeepSeek V4.1 (+47%), MiMo V2.6 (+58%), MiniMax M3.1 (+62%), Kimi K3.1 (+87%) и Claude, у которого больше всех токенов на 1000 знаков русского текста.

Жанр тоже влияет. Тяжелее всего для GPT оказались научно-популярный текст и инструкция: по-русски они длиннее английских на 35% и 31%. Легче всего чат поддержки: +14%. В коде разница почти исчезает: комментарии по-русски добавили GPT 8% токенов, Claude 6%, потому что сам код одинаковый.

Есть и побочный эффект. Модель выдает ответ примерно с одной и той же скоростью в токенах в секунду, а в русском токене меньше букв. Поэтому при той же скорости русский ответ печатается медленнее английского: у GPT примерно на 22%, у Claude на 26%.

Claude тратит на русский в 1,5 раза больше GPT, а не в 3,9

В начале октября многие издания перепечатали цифру: русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен. Ее взяли из исследования на Хабре. Автор выложил корпус и код на GitHub, поэтому цифру можно проверить.

Мы прогнали его тексты тем же способом, что и свои. Для GPT-6.1 Sol счет совпал с данными автора до токена: 260, 208 и 173 токена на технический текст, чат и деловое письмо. Для Claude Opus 5 результат другой: 394, 350 и 285 токенов вместо 872, 830 и 785 в публикации. На текстах автора Claude тратит на русский в 1,6 раза больше токенов, чем GPT, на нашем корпусе в 1,5 раза.

У автора на русском вышло около одного знака на токен, то есть почти каждая буква считалась отдельным токеном. Почему так получилось, по опубликованным данным не понять. Сам автор предупреждал, что счетчики токенов у посредников иногда ошибаются: у одного из них Claude Sonnet 5 и Opus 4.8 считались токенизатором OpenAI. Мы считали Claude через OpenRouter у двух провайдеров, Anthropic и Claude Platform on AWS, и получили одинаковые числа. Списанная стоимость тоже сходится с прайсом: за запрос в 257 токенов к Claude Opus 5.5 провайдер взял $0.001028, ровно $4 за миллион токенов.

Отдельно про сам токенизатор Claude. С версии Opus 4.7 Anthropic перешла на новый токенизатор и предупреждала, что тот же текст займет до 1,35 раза больше токенов, а замер OpenRouter показал рост на 32-45%. В нашем замере все модели, которые мы проверили, от Opus 4.7 до Opus 5.5, Sonnet 5.5, Haiku 5.5 и Fable 5.1, считают одинаково. Английский текст у них подорожал на 39%: 1294 токена против 932 у Claude Sonnet 4.6 со старым токенизатором. А русский почти не изменился: 1701 токен против 1696. Разница между русским и английским у Claude сократилась с 82% до 31%, но не потому, что русский стал дешевле.

Сколько токенов в "Войне и мире"

Чтобы проверить выводы на большом тексте, мы посчитали токены во всем романе. Русский оригинал - это 2,91 млн знаков и 453 тысячи слов, английский перевод Луизы и Эйлмера Мод - 3,2 млн знаков. В оригинале много французских фраз, они тоже вошли в подсчет.

МодельРусский оригиналАнглийский переводОкно модели в APIРусский роман помещается
Alice AI707 тыс.750 тыс.--
GigaChat 3.5756 тыс.744 тыс.--
Qwen 3.8 Max856 тыс.719 тыс.1,00 млнда
GPT-6.1 Sol869 тыс.717 тыс.1,05 млнда
Gemini 3.8 Flash~872 тыс.~727 тыс.1,05 млнда
GLM-5.3881 тыс.722 тыс.1,05 млнда
Grok 4.7~888 тыс.~716 тыс.500 тыс.нет
Mistral Large 4~897 тыс.~744 тыс.1,05 млнда
DeepSeek V4.1981 тыс.726 тыс.1,05 млнда
MiniMax M3.11 007 тыс.704 тыс.1,05 млнда
MiMo V2.61 053 тыс.724 тыс.1,05 млннет
Kimi K3.1~1 219 тыс.~735 тыс.1,05 млннет
Claude 5.x~1 244 тыс.~1 070 тыс.1,00 млннет
Claude Sonnet 4.6~1 228 тыс.~786 тыс.1,00 млннет

Знак ~ - оценка по 12 кускам книги, без знака - точный счет открытым токенизатором. У Alice AI и GigaChat окно не указано: их мы считали без API.

У большинства моделей окно контекста около миллиона токенов, и русский роман в него помещается. Не помещается у Claude, Kimi K3.1 и MiMo V2.6: Claude нужно около 1,24 млн токенов. У Claude с новым токенизатором не влезает даже английский перевод, около 1,07 млн токенов, хотя со старым токенизатором он занимал 786 тысяч. Grok 4.7 через API принимает 500 тысяч токенов, ему не хватит ни одного варианта романа. И учтите, что в окно должен поместиться еще и ответ: у DeepSeek V4.1 после романа остается около 67 тысяч токенов, у MiniMax M3.1 около 41 тысячи.

Сколько стоит русский текст в рублях

Чтобы сравнить модели честно, мы перевели цену за токен в цену за текст: сколько стоит отдать модели 100 страниц русского текста на чтение и сколько стоит получить такой же объем в ответе.

МодельЦена за 1 млн токенов: вход / выходПрочитать 100 страницНаписать 100 страниц
GLM-5.3$0.07 / $1.400,3 ₽5,6 ₽
GPT-6 Luna$0.10 / $0.500,4 ₽2,0 ₽
Claude Haiku 5.5$0.10 / $0.500,6 ₽3,0 ₽
DeepSeek V4.1 Flash$0.14 / $0.420,6 ₽1,9 ₽
MiniMax M3.1 Flash$0.15 / $0.600,8 ₽3,0 ₽
MiMo V2.6 Pro$0.43 / $0.872,2 ₽4,4 ₽
Gemini 3.8 Flash$0.83 / $4.123,2 ₽15,9 ₽
Mistral Large 4$1.36 / $4.185,5 ₽17,0 ₽
Qwen 3.8 Max$2 / $67,5 ₽22,6 ₽
GPT-6.1 Sol$2 / $107,8 ₽39,1 ₽
Grok 4.7$2 / $67,9 ₽23,6 ₽
Kimi K3.1 Pro$2 / $1011,7 ₽58,4 ₽
Claude Sonnet 5.5$2 / $1012,0 ₽59,9 ₽
Claude Opus 5.5$4 / $2023,9 ₽119,7 ₽
Claude Fable 5.1$10 / $5059,9 ₽299,3 ₽

100 страниц A4 - это 180 000 знаков русского текста. Цены OpenRouter на 28.10.2026, курс ЦБ 80,53 ₽ за доллар.

Самое показательное сравнение - модели с одинаковым прайсом. GPT-6.1 Sol, Claude Sonnet 5.5 и Kimi K3.1 Pro стоят по $2 за миллион входных токенов. Но прочитать 100 страниц русского текста в GPT-6.1 Sol стоит 7,8 рубля, а в Claude Sonnet 5.5 и Kimi K3.1 Pro около 12 рублей. Разница только в токенизаторе.

В таблице нет токенов размышлений. Если модель думает перед ответом, эти токены оплачиваются по цене выхода, и счет будет выше. Alice AI и GigaChat в таблицу не попали: мы считали их по открытым версиям, а у платных API Яндекса и Сбера свои тарифы в рублях.

Как экономить токены: что мы проверили

Мы отправили одни и те же данные в разных форматах и посчитали токены:

Что отправляемGPT-6.1Claude 5.xGemini 3.8
Таблица из 8 товаров в JSON с отступами373438437
Тот же JSON без отступов245309268
Тот же JSON с кириллицей в виде кодов \u041d135217782563
Та же таблица в Markdown180243210
Та же таблица в CSV151182174
Новость обычным текстом170249165
Та же новость в HTML-разметке220309218
Та же новость заглавными буквами403779388
  1. Не превращайте русские буквы в коды. В Python json.dumps по умолчанию записывает каждую русскую букву кодом вида \u041d, и таблица из 8 товаров вырастает с 245 до 1352 токенов в GPT и до 2563 в Gemini. Пишите json.dumps(data, ensure_ascii=False).
  2. Таблицы отправляйте в CSV или Markdown. CSV занял на 58-60% меньше токенов, чем JSON с отступами, и у GPT, и у Claude. Модели читают его без проблем.
  3. Убирайте HTML-разметку, если модели нужен только текст: теги и классы добавили к новости 24-32% токенов.
  4. Не пишите заглавными буквами. Капс режется на мелкие куски: та же новость в верхнем регистре заняла в GPT в 2,4 раза больше токенов, в Claude в 3,1 раза.
  5. Длинные постоянные инструкции можно писать по-английски, а ответ просить на русском. Наша инструкция по-английски заняла на 23% меньше токенов в GPT и на 33% меньше в Claude. Качество ответов мы при этом не сравнивали, его стоит проверить на своих задачах.
  6. Кэшируйте повторяющееся начало запроса. Если каждый запрос начинается с одной и той же инструкции или документа, повтор стоит дешевле: у Claude Sonnet 5.5 чтение из кэша стоит $0.10 за миллион токенов вместо $2.
  7. Сравнивайте модели по цене страницы, а не по цене токена. Как видно из таблицы цен, при одинаковом прайсе русский текст может стоить в полтора раза дороже.

Как посчитать токены в своем тексте

  • Быстро прикинуть: умножьте число знаков с пробелами на 0,27 для GPT, Gemini и Qwen, на 0,41 для Claude и Kimi, на 0,21-0,23 для Alice AI и GigaChat. Это наши средние по прозе, на коде и таблицах цифры другие.
  • GPT: токенизатор o200k_base из библиотеки tiktoken. В нашем замере GPT-6.1 Sol, GPT-6 Luna и GPT-5.5 считали токены ровно так же, как o200k_base.
  • Claude: в API Anthropic есть бесплатный метод count_tokens. Ключ при этом должен быть с положительным балансом, с пустым балансом API отвечает ошибкой.
  • Открытые модели (DeepSeek, Qwen, GLM, GigaChat, Alice AI): файл токенизатора лежит на Hugging Face рядом с весами, считать можно библиотекой tokenizers без загрузки самой модели.
  • Любая модель через API: поле usage.prompt_tokens в ответе. Чтобы убрать служебный шаблон, вычтите из него число токенов короткого запроса.

Если выбираете модель для работы с русскими текстами, удобно начать с рейтинга нейросетей, а затем сравнить цену страницы по таблице выше.

Как мы считали

Мы написали шесть коротких текстов разных жанров: новостную заметку, инструкцию, деловое письмо, чат поддержки, художественный отрывок и научно-популярный абзац. Каждый перевели на английский по смыслу, без сокращений: 4 119 знаков на русском и 4 224 на английском. Отдельно взяли функцию на Python с комментариями на двух языках и одну таблицу товаров в разных форматах.

21 модель мы вызывали через OpenRouter 28 октября 2026 года. Токены текста считали как разницу prompt_tokens между запросом с текстом и запросом из одной точки, плюс один токен. Метод проверен: у GPT, DeepSeek, Qwen, GLM и MiMo результат совпал с открытыми токенизаторами этих моделей до токена. MiniMax на OpenRouter обслуживают несколько провайдеров с разным служебным текстом в запросе, поэтому для него взяли открытый токенизатор и сверили с API на кусках романа: расхождение меньше 1%.

Alice AI и GigaChat через API мы не вызывали. Их посчитали открытыми токенизаторами моделей AliceAI-Foundation-80B-A3B и GigaChat 3.5, которые Яндекс и Сбер выложили на Hugging Face.

"Войну и мир" взяли из Викитеки в современной орфографии, английский перевод - из Project Gutenberg. Для восьми моделей с открытыми токенизаторами роман посчитан целиком. Для Claude, Kimi, Grok, Mistral и Gemini - по 12 кускам примерно по 12 тысяч знаков из разных частей книги, с пересчетом на весь объем. Проверка на GPT показала, что такая оценка отличается от точного счета на 1,5% для русского текста и на 0,4% для английского.

Весь замер обошелся в $1.64. Токены по каждому тексту и модели можно скачать в CSV по кнопке в начале статьи, тексты корпуса - в JSON. Данные и корпус можно использовать с указанием источника.

Ограничения

  • Корпус небольшой: шесть текстов по 600-800 знаков. На романе цифры похожие, но на ваших текстах, особенно с терминами, таблицами и кодом, они будут другими.
  • Alice AI и GigaChat посчитаны по открытым версиям. Платные API Яндекса и Сбера могут использовать другие токенизаторы.
  • Число токенов не говорит о качестве. Модель, которая тратит на русский больше токенов, может отвечать по-русски лучше.
  • Цены взяты из OpenRouter на одну дату. У самих разработчиков и у российских сервисов цены бывают другими, а у некоторых моделей длинные запросы стоят дороже.
  • Токены размышлений в расчет не входят.

Вопросы и ответы

Что такое токены в нейросети простыми словами?

Токен - это кусок текста, с которым работает нейросеть: целое слово, часть слова, буква или знак препинания. Модель режет запрос на токены, читает их как цепочку номеров и пишет ответ тоже по одному токену за шаг. По числу токенов считают цену запроса в API и то, сколько текста помещается в модель за один раз.

1 токен - это сколько символов?

В английском тексте около 4,6-4,8 знака у большинства моделей. В русском от 2,4 знака у Claude и Kimi до 3,6-3,8 у GPT, Gemini и Qwen и 4,4-4,9 у GigaChat 3.5 и Alice AI. Страница A4 русского текста занимает около 480 токенов в GPT и около 740 в Claude.

Как посчитать, сколько токенов в тексте?

Быстрая оценка: число знаков с пробелами умножить на 0,27 для GPT, Gemini и Qwen или на 0,41 для Claude. Точно - через токенизатор модели (для GPT это o200k_base в библиотеке tiktoken, для Claude метод count_tokens в API Anthropic) или по полю usage.prompt_tokens в ответе API.

Сколько токенов в "Войне и мире"?

Русский оригинал занимает около 869 тысяч токенов в GPT-6, 872 тысяч в Gemini 3.8 Flash, 981 тысячу в DeepSeek V4.1 и около 1,24 миллиона в Claude. Меньше всего у Alice AI: 707 тысяч. Английский перевод в GPT занимает 717 тысяч токенов.

Почему русский текст в нейросетях дороже английского?

Словари токенизаторов собирают по частоте сочетаний букв, а в обучающих данных больше всего английского. Английские слова чаще попадают в словарь целиком, русские собираются из кусков, поэтому на тот же смысл уходит больше токенов: в GPT на 25% больше, в Claude на 31%, в Kimi на 87%. У Alice AI и GigaChat с русским словарем разницы почти нет.

Правда ли, что Claude берет за русский текст в 4 раза больше, чем GPT?

Нет. По нашему замеру Claude тратит на русский текст в 1,5 раза больше токенов, чем GPT-6. Мы перепроверили исследование, где называлась цифра 3,9: на тех же текстах Claude Opus 5 насчитал в 2,2-2,8 раза меньше токенов, чем указано в публикации, а счет для GPT совпал до токена.

Как экономить токены в Claude?

Отправляйте таблицы в CSV, а не в JSON с отступами, не превращайте кириллицу в коды вида \u041d, убирайте HTML-разметку и текст заглавными буквами, кэшируйте повторяющееся начало запроса. Длинные постоянные инструкции можно писать по-английски: в Claude наша инструкция заняла на 33% меньше токенов.

LAB
Лаборатория gen-hub
Проверяем нейросети на одинаковых задачах и публикуем все, что нужно для проверки: методику, промпты, результаты, время и стоимость каждого теста.