Baseten выпустила joey-1: модель на 2 млрд параметров за $0,01 за 1 млн токенов

Baseten выпустила joey-1 - компактную модель на 2 млрд параметров, которая отвечает не текстом, а ярлыком и калиброванной вероятностью. Разработала ее исследовательская лаборатория компании Base Labs. Цена на API Baseten - $0,01 за миллион входных токенов, а веса лежат на Hugging Face под лицензией MIT.
Что делает модель
joey-1 относится к классу "моделей решений". На вход подается состояние (текст или изображения) и один или несколько типизированных вопросов. На выходе - вероятность по каждому варианту каждого вопроса за один прямой проход. Разбирать свободный текст в приложении не нужно.
Вопросы бывают трех типов: выбор одного именованного варианта (например, какая команда отвечает за тикет), да/нет и шкала с упорядоченными уровнями вроде срочности. Типичные задачи - маршрутизация обращений, классификация, проверки в защитных фильтрах.
joey-1 - третья модель семейства. Неделей раньше Baseten выпустила mammoth-1 на 27 млрд параметров и elephant-1 на 9 млрд. У всех трех общие обучающие данные и общий эндпоинт /v1/systemone, так что переход между ними - правка одной строки.
Цифры
Baseten заявляет медианную задержку 20 мс на запрос в 2000 токенов. Это примерно в 2,5 раза быстрее elephant-1 (49 мс). Выходные и кешированные токены в прайсе указаны как $0, что логично при таком коротком ответе. Для сравнения: elephant-1 стоит $0,035 за миллион токенов, mammoth-1 - $0,10. Свежая решающая модель Microsoft на базе Qwen обходится в $0,042.
Пример от самой Baseten: 10 млн тикетов в месяц по 500 токенов - это 5 млрд токенов. На joey-1 выйдет около $50, на mammoth-1 около $500.
Под капотом - Qwen3.5-2B, дообученная целиком на 6,21 млн примеров решений; зрительный энкодер заморожен. В смеси 58,3% базовых навыков принятия решений, по 16,1% безопасности и экспертных доменов с оценкой, 9,5% публичных данных. Функция потерь - кросс-энтропия плюс член Брайера для калибровки, а у модели есть обученный вариант "не знаю". Обучение заняло одну эпоху, 43 390 шагов на двух узлах по 8 GPU H100.
Качество и оговорки
На публичной части рейтинга Jev Decision Index 0.4 модель набрала 63,30 - 37-е место из 230 и лучший результат среди моделей до 4 млрд параметров. Старший elephant-1 получил 72,24, то есть отрыв составляет почти 9 пунктов. Cloudflare Clef на 27 млрд параметров дала 61,71, Jev 1.14 - 60,70. На собственной копии Decision Index от Artificial Analysis joey-1 набрала 62,9 против 65,9 у mammoth-1.
Все эти цифры Baseten приводит сама, в карточке модели. Заявление о "сильнейшей модели решений до 3 млрд параметров" и о пятикратном преимуществе над "сопоставимыми" моделями пока без опубликованных тестов и без названий конкурентов. Перед внедрением стоит прогнать joey-1 на собственных данных.
Есть и практические ограничения. На Model APIs максимальная последовательность - 16 384 токена, 262 тысячи Baseten обещает только на выделенных развертываниях. Для самостоятельного запуска хватит одной CUDA-видеокарты, но объем памяти не раскрыт, официальных квантованных сборок нет.
Зачем калибровка
Главная идея линейки - каскад. Дешевая joey-1 обрабатывает основной поток, а ответы с низкой уверенностью по заданному порогу уходят к elephant-1, mammoth-1 или человеку. Такая схема работает, только если вероятности действительно соответствуют частоте ошибок, и именно на это нацелена калибровочная часть обучения. Проверять ее тоже придется на своих данных.
На рынке подход не нов: похожие решения выпускала TypeSafe AI (Jev, сентябрь), а в октябре - Microsoft. Baseten же сделала ставку на цену и скорость при открытых весах. Для компании, которая в июне привлекла $1,5 млрд при оценке до $13 млрд, это способ привязать к своей платформе высокочастотные задачи, где счет идет на миллиарды токенов.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.