N
ИИ-чатNace AIDrex MaxOpen weightsApple SiliconЛокальные модели

Nace AI выложила веса Drex Max v1: модель на 27B для решений запускается на Mac

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Nace AI выложила веса Drex Max v1: модель на 27B для решений запускается на Mac

Nace AI опубликовала в открытом доступе веса Drex Max v1 - плотной модели на 27 млрд параметров, которая не пишет текст, а выбирает из заданных вариантов. На публичном Decision Index 0.4 она набрала 67,52 балла, на 6,27 выше прежней Drex v2.0. Все цифры компания приводит сама, независимой проверки в источнике нет.

Что это за модель

Drex Max отвечает на типизированные вопросы по контексту. На вход идет состояние (текст, JSON или изображения) и набор именованных вопросов. На выходе вероятность для каждого варианта, причем за один прямой проход. Ничего не генерируется.

Вопросы бывают трех видов: выбор среди именованных вариантов, да/нет и порядковая оценка. Вариантов может быть до 255 на вопрос. Окно контекста - 262 144 токена, по умолчанию стоит 16 384. Задачи понятные: маршрутизация запросов между агентами, разбор тикетов, проверка политик и ограничителей. Такие решения нередко отдают большой генеративной модели и парсят ее ответ. Здесь вероятности получаешь сразу, и они сопоставимы между запросами.

Архитектура

В модели 64 слоя. Из них 48 - слои линейного внимания Gated DeltaNet, которые идут слева направо. Остальные 16 стоят через каждый четвертый слой и используют полное внимание без причинной маски: каждый токен видит всю последовательность. Картинки проходят через встроенный визуальный блок и доступны всем вопросам запроса. Затем выходная голова на 255 позиций превращает последнее скрытое состояние в вероятности вариантов. В конфиге указан тип модели qwen3_5.

Результаты по данным Nace AI

На Decision Index 0.4 Drex Max набрала 67,52. У Drex v2.0 61,25, у закрытой Jev 1.13.0 - 57,96. По областям: инструменты 81,9, язык 72,2, поиск 68,8, знания и рассуждение 57,1, искусство 53,4. Лучший отдельный результат - 97,3 на InfographicVQA.

Другие цифры из карточки модели:

- публичный визуальный индекс: 73,92 по 11 бенчмаркам и 12 210 строкам; - Artificial Analysis Decision Index: 64, по оценке Nace - четвертое место из 18; - JevBench: 92,2% (213 из 231); - Decision Bench v4: 94,30% (1010 из 1071).

При подсчете неотвеченные запросы считаются ошибкой. Весь набор результатов - 140 620 запросов.

Предыдущая Drex v2.0 устроена иначе: 35B MoE с примерно 3B активных параметров, окно 131 072 токена, только текст. Max устроена по-другому: архитектура сменилась, а заодно вернулось зрение.

Как запустить локально

Nace описывает пять способов, и все они отдают один и тот же API: POST /v1/systemone.

- Python на NVIDIA: bf16 (около 49 ГБ) или 8-бит (около 26 ГБ). Только здесь работают изображения. - Форк llama.cpp: Q8_0 GGUF на 27,25 ГБ, Apple Metal или CPU. - Форк Ollama: тот же GGUF. - Kapitsa v0.2.25 и новее: Q8_0 или affine Q4 на Apple Silicon. - MLX: affine Q4 на 14,45 ГБ.

Q4 рассчитан на Mac от 24 ГБ памяти, Q8_0 требует 48 ГБ. На 48-гигабайтном Mac для Kapitsa рекомендуют флаг --context 2048. В Ollama параметр num_gpu 40 отправляет 40 слоев на Metal, num_gpu 0 запускает все на CPU. В Modelfile форка нужна строка CAPABILITY decision.

Сам по себе размер не ключевая проблема. Вопрос в том, сколько качества съедает сжатие. По тестам Nace, на Apple M5 Pro с 48 ГБ Q8_0 отклоняется от H100 bf16 не более чем на 0,02 по вероятности. Q4 отстает от Q8_0 не больше чем на 0,0329, и ни один выбор не поменялся. Это проверка самой компании на ее данных. На мой взгляд, для модели, которая выдает вероятности, а не текст, такая метрика нагляднее обычной.

Что это меняет

Практический смысл в том, что маршрутизация, классификация и проверка политик остаются на локальной машине. Данные клиентов не уходят в чужое облако, задержка не зависит от сети. Решения можно считать без платы за токены. Для сравнения, у хостинговой версии на старте цена $0.03 за 1000 решений.

Ограничения тоже видны. Картинки пока только через Python на NVIDIA, на Mac и в llama.cpp модель работает с текстом. Все бенчмарки в источнике приведены как данные самой Nace, даже место в рейтинге Artificial Analysis дано в ее пересказе. Перед тем как ставить модель в продакшен-маршрутизатор, стоит прогнать ее на своих тикетах и своих политиках: разница между 67 и 61 баллом на чужом наборе не гарантирует такой же разницы у вас.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения