NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

NVIDIA опубликовала предварительные результаты Vera Rubin NVL72 в бенчмарке MLPerf Endpoints v1.0: при одинаковой минимальной интерактивности 50 токенов в секунду на пользователя система дает более чем в 10 раз больше пропускной способности на киловатт, чем GB300 NVL72. Данные в таблице MLCommons появились 9 ноября, разбор в блоге компании вышел 16 ноября.
Что измеряет бенчмарк
MLPerf Endpoints v1.0 проверяет не железо в вакууме, а API-эндпоинты под нагрузкой, похожей на агентную. Это кодинговые траектории, где история диалога растет от хода к ходу, и корпоративные сценарии, где повторяются одни и те же инструкции, описания инструментов и бизнес-правила. Прямо во время замеров сгенерированные вызовы инструментов и намерения сверяются с эталоном. Отдельно модели гоняют на SWE-bench Verified. Так проверяют, что ускорение не съело качество ответов.
Цифры
Тест на Kimi K3 (категория Available, стандартизированный дивизион) выглядит так:
- Vera Rubin NVL72, 32 ускорителя: 1 024 одновременных запроса, 41 414 токенов/с на систему, интерактивность 50,4 токена/с на пользователя, потребление 100,89 кВт, TTFT P90 около 4,7 с; - GB300 NVL72, 48 ускорителей: 48 одновременных запросов, 2 210 токенов/с, интерактивность 56,2 токена/с, потребление 60 кВт, TTFT P90 около 2,3 с.
По нашему подсчету из этих чисел выходит около 410 токенов/с на кВт против примерно 37, то есть чуть больше 11x. Это согласуется с заявленным порогом в 10x.
На трех моделях сразу (Kimi K3, DeepSeek-V4.1-Flash, Qwen3.6-35B-A3B) NVIDIA говорит о выигрыше в 5-10 раз по пропускной способности на киловатт и в 3-5 раз по интерактивности при одинаковом числе одновременных запросов.
Как это достигнуто
Аппаратная часть: GPU Rubin с памятью HBM4 и NVLink шестого поколения. Программная опирается на то, что агентные нагрузки полны повторов. Кэширование префиксов и повторное использование состояния не дают пересчитывать один и тот же контекст, а маршрутизация NVIDIA Dynamo выравнивает загрузку между узлами.
Есть и оптимизации под конкретные модели. Для DeepSeek это ядро MegaMoE, которое сокращает перемещение данных. Для Qwen используется предсказание нескольких токенов за шаг с проверкой на тензорных ядрах, из-за чего последовательных шагов декодирования становится меньше.
Оговорки
Первая: результаты Vera Rubin пока предварительные. Они ждут верификации MLCommons и могут измениться после рецензирования. Результаты GB300 уже проверены.
Вторая: сравнение строится на пересечении по интерактивности, но не по нагрузке. Vera Rubin показана при 1 024 запросах, GB300 при 48, а число ускорителей в этих прогонах разное (32 и 48). Метрика токенов на киловатт при фиксированной планке в 50 токенов/с разумна для оценки стоимости владения, однако цифра 10x относится именно к этому режиму, а не к любой нагрузке. У GB300 в приведенном прогоне TTFT при этом заметно ниже.
Третья: всю эту подачу готовила сама NVIDIA. Независимых результатов других вендоров по этому бенчмарку в источнике нет, поэтому сравнение идет только внутри двух поколений ее собственных систем.
Что это значит
Для тех, кто строит сервисы с агентами, главный вывод в акценте самого бенчмарка: узким местом становятся длинный контекст и повторяющиеся префиксы, а не только сырая скорость генерации. Выигрыш на киловатт важен операторам дата-центров, где ограничением служит мощность стойки, а не бюджет на чипы. Пока Vera Rubin ждет верификации, цифры стоит считать заявкой, а не окончательным итогом.
Источники
Похожие новости
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
OpenAI предоставила НАТО и агентствам ЕС доступ к Daybreak для кибербезопасности
OpenAI выдала НАТО и кибер-агентствам Европы доступ к моделям Daybreak. НАТО расходует до 300 млрд токенов в месяц, а ENISA нашла с их помощью четыре уязвимости.
OpenAI даст организациям бесплатный классификатор CSAM и введет в ChatGPT блокировку на 24 часа
OpenAI 16 ноября представила классификатор материалов сексуального насилия над детьми, предупреждения в ChatGPT, гайд для разработчиков и инструменты для полиции. Классификатор помечает на 48% меньше изображений.