Jetson AGX Thor обогнал llama.cpp в 6,4 раза на агентном ИИ-бенчмарке

Агентный ИИ выбирается из дата-центров
Есть ощущение, что гонка за производительностью больших языковых моделей постепенно перемещается с серверных стоек в совершенно другие места - в роботов, автомобили, промышленные контроллеры. И именно здесь NVIDIA сделала неожиданно громкое заявление в рамках раунда MLPerf Inference v6.1.
На одном Jetson AGX Thor Developer Kit со 128 ГБ унифицированной памяти библиотека TensorRT Edge-LLM запустила модель Qwen3.6-27B и прошла весь агентный бенчмарк MLPerf Edge Agentic - все 1 007 диалоговых ходов - за 24 минуты 36 секунд. Референсный запуск на llama.cpp занял 2 часа 37 минут. Разница - 6,4 раза.
Цифра сама по себе говорит о многом, но важнее понять, что именно измерялось.
Что такое агентный бенчмарк и почему он сложнее обычного
Стандартные тесты на скорость инференса проверяют простую вещь: насколько быстро модель генерирует токены в ответ на один запрос. Агентный сценарий устроен принципиально иначе. Модель получает задачу, выбирает инструмент, получает результат его работы, добавляет его в контекст и продолжает рассуждение - снова и снова, по кругу.
MLPerf Edge Agentic воспроизводит записанные траектории агента, решающего задачи в стиле software engineering. Контекст растет от хода к ходу и к концу достигает примерно 23 500 токенов. Это уже не чат-бот, отвечающий на один вопрос, - это полноценная рабочая сессия, где модель должна не просто генерировать, но и удерживать длинную историю разговора в памяти.
Точность при этом тоже проверяется: фаза accuracy использует промпты из Berkeley Function Calling Leaderboard v4 и оценивает, правильно ли модель выбирает функции, корректно ли формирует аргументы и не вызывает ли инструменты там, где они не нужны.
Четыре технических решения, которые дали результат
То, что NVIDIA выжала такую скорость из edge-устройства, - не магия. Под капотом четыре конкретных приема, каждый из которых дает свой вклад.
Первое - квантизация NVFP4 для весов и активаций плюс FP8 для KV-кеша. Это позволяет уместить 27-миллиардную модель в памяти устройства без критических потерь точности.
Второе - повторное использование KV-кеша между ходами агента. Поскольку каждый следующий ход включает всю предыдущую историю, значительная часть токенов промпта уже была обработана раньше. По данным NVIDIA, примерно 96% токенов промпта обслуживалось из горячего кеша, минуя повторный prefill.
Третье - древовидное предсказание нескольких токенов (tree-based MTP). Система проверяет 8 шагов вперед с деревом из 16 узлов и коэффициентом ветвления 2. Для задач с вызовом функций это дало прирост декодирования примерно +40% по сравнению с линейным MTP.
Четвертое - все вышеперечисленное работает на архитектуре Blackwell GPU внутри Jetson AGX Thor, которая физически поддерживает эти операции на аппаратном уровне.
Контекст: одновременно NVIDIA показала Vera Rubin NVL72
Тот же день, 16 сентября 2026, NVIDIA опубликовала результаты и для своего флагманского серверного решения - Vera Rubin NVL72. Там цифры другого масштаба: на Qwen3-VL система показала до 3,7x больший throughput по сравнению с GB300 NVL72, на DeepSeek-R1 - до 2,5x. На агентном бенчмарке SemiAnalysis AgentX Vera Rubin NVL72 в preview-тестировании обогнал GB300 NVL72 в 30 раз.
Это два разных сегмента рынка, которые NVIDIA закрывает одновременно. Vera Rubin - для дата-центров, где задача - максимальный throughput на стойку. Jetson AGX Thor - для устройств, где нет подключения к облаку или оно ненадежно.
Интересная деталь из результатов по GB300 NVL72: при масштабировании с одной стойки (72 GPU) до четырех (288 GPU) на задаче DeepSeek-R1 NVIDIA получила 99% эффективности масштабирования в offline-сценарии. Это почти линейный рост производительности с добавлением железа - редкость для распределенных систем.
Что это значит для разработчиков
Для разработчиков, которые строят агентные системы под edge-деплой, результат показывает конкретное: в рамках этого бенчмарка 27-миллиардная модель на одном Jetson AGX Thor справилась со всей агентной траекторией без обращения к серверу. Насколько это переносится на произвольные агентные задачи в продакшне - зависит от конкретного сценария и требований к точности.
Технически это доступно через ветку TensorRT Edge-LLM release/0.9.1-mlpinf - там опубликованы настройки экспорта модели, команды сборки движка и конфигурация сервера. Откалиброванный чекпоинт Qwen3.6-27B в формате NVFP4 можно скачать отдельно.
Доступность самого железа и программного стека в конкретном регионе стоит уточнять у поставщиков и напрямую в репозитории NVIDIA - источники этот вопрос не освещают.
Бенчмарки как сигнал о следующем шаге
Сам факт появления MLPerf Edge Agentic как отдельной категории - более важный сигнал, чем конкретные цифры. MLCommons добавляет категории тогда, когда индустрия уже достаточно серьезно занялась направлением. Агентный инференс на edge-устройствах перестал быть исследовательской задачей и превратился в то, что нужно измерять стандартизированно.
В v6.1 MLCommons также добавил категорию End-to-End RAG - это говорит о том, что текущий результат по агентному инференсу не финальная точка, а начало серии измерений в смежных сценариях.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.