Bonsai 27B: модель с 27 млрд параметров влезла в iPhone

Когда 54 гигабайта превращаются в 3,9

Есть новости, которые меняют привычные координаты. Bonsai 27B — одна из них. Компания PrismML, основанная командой исследователей из Калтеха, сделала то, что ещё год назад казалось фантастикой: взяла 27-миллиардную модель Qwen3.6-27B от Alibaba и упаковала её в 3,9 ГБ — размер, который легко умещается на iPhone 17 Pro. Для сравнения: в оригинальном 16-битном формате та же модель весит 54 ГБ, а стандартное 4-битное сжатие оставляет её на уровне 18 ГБ — что уже слишком много даже для большинства ноутбуков.

Механика чуда — экстремальная квантизация. PrismML выпустила два варианта модели. Ternary Bonsai 27B использует трёхзначное представление весов {−1, 0, +1}, что даёт 1,71 эффективного бита на вес и занимает 5,9 ГБ — это версия для ноутбуков с упором на качество. 1-bit Bonsai 27B идёт ещё дальше: каждый вес принимает лишь два состояния {−1, +1}, итого 1,125 бита на вес и 3,9 ГБ — версия для смартфонов. Причём, в отличие от многих конкурентов, PrismML применяет низкобитное представление ко всей языковой сети целиком: эмбеддингам, механизмам внимания, MLP-слоям и LM-голове, без «лазеек» в более высокую точность.

Что умеет модель и как быстро работает

Bonsai 27B — не урезанный чат-бот для простых вопросов. Модель поддерживает многошаговое рассуждение, вызов инструментов, понимание изображений и агентные рабочие процессы. Контекстное окно — 262 000 токенов. Поддерживается speculative decoding для ускорения генерации.

По данным PrismML, на iPhone 17 Pro Max 1-битная версия генерирует около 11 токенов в секунду — это рабочая скорость для реальных задач, не демо-режим. Один процентный пункт заряда батареи уходит примерно на 672 токена, что в пересчёте на полный заряд даёт около 67 000 токенов. На RTX 5090 та же модель разгоняется до 163 токенов в секунду, на Apple M5 Max — до 87.

В бенчмарках картина выглядит убедительно. По 15 тестам в режиме «thinking» оригинальный Qwen3.6-27B набирает 85,0 баллов, ternary-вариант — 80,5 (95% от оригинала), 1-битный — 76,1 (90%). Математика и программирование просели минимально: в задачах GSM8K, MATH-500 и AIME 1-битная версия сохраняет 91,7 из 95,3 исходных баллов, в кодинге — 81,9 из 88,7. Заметнее всего потери в следовании инструкциям (65,8 против 78,4) и в vision-задачах (59,6 против 72,6).

Отдельный показатель — intelligence density: 0,53 балла на ГБ у 1-битного варианта против 0,05 у оригинала. По этому критерию Bonsai 27B опережает все известные конкурентные квантизации той же базовой модели, при этом занимая в 2,5 раза меньше памяти, чем наиболее агрессивный стандартный build Qwen3.6-27B на 9,4 ГБ — который, кстати, набирает лишь 72,7 баллов против 76,1 у Bonsai.

Модели доступны на Hugging Face (prism-ml/Bonsai-27B-mlx-1bit и prism-ml/Bonsai-27B-gguf) под лицензией Apache 2.0.

Apple уже смотрит в эту сторону

Самая интригующая часть истории — переговоры с Apple. По данным CNBC, PrismML ведёт переговоры с купертинским гигантом о технологии сжатия. CEO компании Бабак Хасиби подтвердил, что Apple и другие компании тестируют модели по параметрам скорости, энергопотребления и производительности. Переговоры пока на ранней стадии, но «движутся хорошо».

Логика здесь очевидна: Apple давно делает ставку на on-device intelligence — Apple Intelligence, локальные модели в iOS 18-19. Если PrismML действительно может втиснуть 27B-класс в бюджет памяти iPhone, это меняет всю архитектуру Apple Intelligence. Сейчас Apple использует серверные модели для сложных запросов и локальные 3B-модели для простых. Bonsai 27B потенциально закрывает этот разрыв одним ходом.

Скептики не дремлют

Однако реальная эксплуатация уже выявила шероховатости. На Hacker News, где релиз собрал более 266 голосов за несколько часов, разработчики делятся не только восторгами. Один из них получил на Android в ответ лишь восклицательные знаки. Другой, тестируя 4-битный вариант, зафиксировал 0 баллов на GSM8K при нормальном perplexity. Наиболее болезненное наблюдение касается именно вызова инструментов — той самой способности, которая делает модель агентом, а не просто чат-ботом. Агрессивная квантизация бьёт по tool calling сильнее всего: в бенчмарке BFCL v3 + TauBench 1-битный вариант опускается до 66 из 80 баллов.

Это принципиально важно понимать: модель, которая корректно рассуждает, но раз в двенадцать вызовов роняет функцию — не агент, а демо. PrismML декларирует Bonsai 27B именно как рабочий инструмент для агентных сценариев, и здесь компании предстоит доказать состоятельность в боевых условиях, а не только в собственных бенчмарках.

Что это значит для индустрии

Bonsai 27B выходит в момент, когда Ollama только что привлекла $65 млн на развитие локального инференса — рынок голосует деньгами за on-device AI. Противостояние «аренда в облаке vs. запуск локально» перестаёт быть философским спором и становится инженерной задачей.

Для российских пользователей: модель доступна на Hugging Face и работает локально — никакого VPN, никаких зарубежных подписок и платёжных систем не требуется. Скачал, запустил через llama.cpp или MLX — и всё. Именно такой сценарий и делает технологию особенно ценной в условиях ограниченного доступа к облачным сервисам.

Дирекция верная. 27B-класс в кармане — это не просто технический трюк. Это новая точка отсчёта для того, каким может быть локальный ИИ-агент. Информация о релизе подтверждена несколькими независимыми изданиями.