NVIDIA
ИИ-чатNVIDIAVera RubinMLPerf EndpointsинференсИИ-агенты

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

NVIDIA опубликовала предварительные результаты Vera Rubin NVL72 в бенчмарке MLPerf Endpoints v1.0: при одинаковой минимальной интерактивности 50 токенов в секунду на пользователя система дает более чем в 10 раз больше пропускной способности на киловатт, чем GB300 NVL72. Данные в таблице MLCommons появились 9 ноября, разбор в блоге компании вышел 16 ноября.

Что измеряет бенчмарк

MLPerf Endpoints v1.0 проверяет не железо в вакууме, а API-эндпоинты под нагрузкой, похожей на агентную. Это кодинговые траектории, где история диалога растет от хода к ходу, и корпоративные сценарии, где повторяются одни и те же инструкции, описания инструментов и бизнес-правила. Прямо во время замеров сгенерированные вызовы инструментов и намерения сверяются с эталоном. Отдельно модели гоняют на SWE-bench Verified. Так проверяют, что ускорение не съело качество ответов.

Цифры

Тест на Kimi K3 (категория Available, стандартизированный дивизион) выглядит так:

- Vera Rubin NVL72, 32 ускорителя: 1 024 одновременных запроса, 41 414 токенов/с на систему, интерактивность 50,4 токена/с на пользователя, потребление 100,89 кВт, TTFT P90 около 4,7 с; - GB300 NVL72, 48 ускорителей: 48 одновременных запросов, 2 210 токенов/с, интерактивность 56,2 токена/с, потребление 60 кВт, TTFT P90 около 2,3 с.

По нашему подсчету из этих чисел выходит около 410 токенов/с на кВт против примерно 37, то есть чуть больше 11x. Это согласуется с заявленным порогом в 10x.

На трех моделях сразу (Kimi K3, DeepSeek-V4.1-Flash, Qwen3.6-35B-A3B) NVIDIA говорит о выигрыше в 5-10 раз по пропускной способности на киловатт и в 3-5 раз по интерактивности при одинаковом числе одновременных запросов.

Как это достигнуто

Аппаратная часть: GPU Rubin с памятью HBM4 и NVLink шестого поколения. Программная опирается на то, что агентные нагрузки полны повторов. Кэширование префиксов и повторное использование состояния не дают пересчитывать один и тот же контекст, а маршрутизация NVIDIA Dynamo выравнивает загрузку между узлами.

Есть и оптимизации под конкретные модели. Для DeepSeek это ядро MegaMoE, которое сокращает перемещение данных. Для Qwen используется предсказание нескольких токенов за шаг с проверкой на тензорных ядрах, из-за чего последовательных шагов декодирования становится меньше.

Оговорки

Первая: результаты Vera Rubin пока предварительные. Они ждут верификации MLCommons и могут измениться после рецензирования. Результаты GB300 уже проверены.

Вторая: сравнение строится на пересечении по интерактивности, но не по нагрузке. Vera Rubin показана при 1 024 запросах, GB300 при 48, а число ускорителей в этих прогонах разное (32 и 48). Метрика токенов на киловатт при фиксированной планке в 50 токенов/с разумна для оценки стоимости владения, однако цифра 10x относится именно к этому режиму, а не к любой нагрузке. У GB300 в приведенном прогоне TTFT при этом заметно ниже.

Третья: всю эту подачу готовила сама NVIDIA. Независимых результатов других вендоров по этому бенчмарку в источнике нет, поэтому сравнение идет только внутри двух поколений ее собственных систем.

Что это значит

Для тех, кто строит сервисы с агентами, главный вывод в акценте самого бенчмарка: узким местом становятся длинный контекст и повторяющиеся префиксы, а не только сырая скорость генерации. Выигрыш на киловатт важен операторам дата-центров, где ограничением служит мощность стойки, а не бюджет на чипы. Пока Vera Rubin ждет верификации, цифры стоит считать заявкой, а не окончательным итогом.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости