Что такое токены в нейросети и почему русский текст дороже: замер 23 моделей
Токен - это кусок текста, которым нейросеть читает и считает: слово, часть слова или знак препинания. Мы прогнали одни и те же тексты на русском и английском через 23 модели, посчитали токены во всей "Войне и мире", цену русского текста в рублях и проверили, правда ли Claude берет за русский язык вчетверо больше, чем GPT.

