Bonsai 27B: модель с 27 млрд параметров влезла в iPhone

Когда 54 гигабайта превращаются в 3,9
Bonsai 27B - одна из тех новостей, которые меняют привычные координаты. Компания PrismML, основанная командой исследователей из Калтеха, взяла 27-миллиардную модель Qwen3.6-27B от Alibaba и упаковала ее в 3,9 ГБ - размер, который легко умещается на iPhone 17 Pro. Для сравнения: в оригинальном 16-битном формате та же модель весит 54 ГБ, а стандартное 4-битное сжатие оставляет ее на уровне 18 ГБ - что уже слишком много даже для большинства ноутбуков.
Механика - экстремальная квантизация. PrismML выпустила два варианта модели. Ternary Bonsai 27B использует трехзначное представление весов {-1, 0, +1}, что дает 1,71 эффективного бита на вес и занимает 5,9 ГБ - это версия для ноутбуков с упором на качество. 1-bit Bonsai 27B идет еще дальше: каждый вес принимает лишь два состояния {-1, +1}, итого 1,125 бита на вес и 3,9 ГБ - версия для смартфонов. Причем, в отличие от многих конкурентов, PrismML применяет низкобитное представление ко всей языковой сети целиком: эмбеддингам, механизмам внимания, MLP-слоям и LM-голове, без "лазеек" в более высокую точность.
Что умеет модель и как быстро работает
Bonsai 27B поддерживает многошаговое рассуждение, вызов инструментов, понимание изображений и агентные рабочие процессы. Контекстное окно - 262 000 токенов. Поддерживается speculative decoding для ускорения генерации.
По данным PrismML, на iPhone 17 Pro Max 1-битная версия генерирует около 11 токенов в секунду - это рабочая скорость для реальных задач, не демо-режим. Один процентный пункт заряда батареи уходит примерно на 672 токена, что в пересчете на полный заряд дает около 67 000 токенов.
В бенчмарках картина выглядит убедительно. По 15 тестам в режиме "thinking" оригинальный Qwen3.6-27B набирает 85,0 баллов, ternary-вариант - 80,5 (95% от оригинала), 1-битный - 76,1 (90%). Математика и программирование просели минимально: в задачах GSM8K, MATH-500 и AIME 1-битная версия сохраняет 91,7 из 95,3 исходных баллов, в кодинге - 81,9 из 88,7. Заметнее всего потери в следовании инструкциям (65,8 против 78,4) и в vision-задачах (59,6 против 72,6).
Отдельный показатель - intelligence density: 0,53 балла на ГБ у 1-битного варианта против 0,05 у оригинала. По этому критерию Bonsai 27B опережает все известные конкурентные квантизации той же базовой модели, при этом занимая в 2,5 раза меньше памяти, чем наиболее агрессивный стандартный build Qwen3.6-27B на 9,4 ГБ - который набирает лишь 72,7 баллов против 76,1 у Bonsai.
Модели доступны на Hugging Face (prism-ml/Bonsai-27B-mlx-1bit и prism-ml/Bonsai-27B-gguf) под лицензией Apache 2.0.
Apple уже смотрит в эту сторону
Самая интригующая часть истории - переговоры с Apple. По данным CNBC, PrismML ведет переговоры с купертинским гигантом о технологии сжатия. CEO компании Бабак Хасиби подтвердил, что Apple и другие компании тестируют модели по параметрам скорости, энергопотребления и производительности. Переговоры пока на ранней стадии, но "движутся хорошо".
Логика здесь очевидна: Apple давно делает ставку на on-device intelligence - Apple Intelligence, локальные модели в iOS 18-19. Если PrismML действительно может втиснуть 27B-класс в бюджет памяти iPhone, это меняет всю архитектуру Apple Intelligence. Сейчас Apple использует серверные модели для сложных запросов и локальные 3B-модели для простых. Bonsai 27B потенциально закрывает этот разрыв одним ходом.
Скептики не дремлют
Релиз собрал более 266 голосов на Hacker News за несколько часов, однако разработчики делятся не только восторгами. Наиболее болезненное наблюдение касается вызова инструментов - той самой способности, которая делает модель агентом, а не просто чат-ботом. Согласно официальной таблице бенчмарков, сильнее всего при агрессивной квантизации проседают vision-задачи (59,6 против 72,6) и следование инструкциям (65,8 против 78,4); tool calling в бенчмарке BFCL v3 + TauBench опускается до 66 из 80 баллов.
Это принципиально важно: PrismML декларирует Bonsai 27B именно как рабочий инструмент для агентных сценариев, и здесь компании предстоит доказать состоятельность в боевых условиях, а не только в собственных бенчмарках.
Что это значит для индустрии
Противостояние "аренда в облаке vs. запуск локально" перестает быть философским спором и становится инженерной задачей. The Decoder, освещавший релиз, отмечает, что PrismML планирует применить технологию сжатия и к серии Google Gemma.
Для российских пользователей: модель доступна на Hugging Face и работает локально - никакого VPN, никаких зарубежных подписок и платежных систем не требуется. Скачал, запустил через llama.cpp или MLX - и все. Именно такой сценарий и делает технологию особенно ценной в условиях ограниченного доступа к облачным сервисам.
27B-класс в кармане - это новая точка отсчета для того, каким может быть локальный ИИ-агент.
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.