LAB

Лаборатория gen-hub

Тесты и замеры · 2 материала

Проверяем нейросети на одинаковых задачах и публикуем все, что нужно для проверки: методику, промпты, результаты, время и стоимость каждого теста.

ИсследованияСравнения моделей
LABЛаборатория gen-hub28 октября· 15 мин

Что такое токены в нейросети и почему русский текст дороже: замер 23 моделей

Токен - это кусок текста, которым нейросеть читает и считает: слово, часть слова или знак препинания. Мы прогнали одни и те же тексты на русском и английском через 23 модели, посчитали токены во всей "Войне и мире", цену русского текста в рублях и проверили, правда ли Claude берет за русский язык вчетверо больше, чем GPT.

LABЛаборатория gen-hub28 октября· 9 мин

Какая нейросеть пишет русский текст на картинках без ошибок: тест 10 моделей

Дали десяти нейросетям одни и те же 20 русских надписей: вывески, ценник, меню, визитку, грамоту и абзац от руки. Пять моделей не ошиблись ни разу, одна сделала ошибки в 15 картинках из 20, а Ideogram V3 отказался принимать русский текст.