NVIDIA: Nemotron-3.5 Lightning на DGX Spark ускорили с 73 до 127 токенов/с

NVIDIA 30 октября опубликовала руководство по запуску модели Nemotron-3.5 Lightning на DGX Spark в конфигурации 64GB с помощью TensorRT Edge-LLM. Главная цифра из текста: спекулятивное декодирование DSpark с тремя черновыми токенами поднимает среднюю скорость генерации с 73,4 до 126,9 токена в секунду, то есть примерно в 1,7 раза. Замер сделан на промптах из HumanEval, пиковое потребление памяти при этом составило 27,9 ГБ.
Что за стек
TensorRT Edge-LLM - легкая среда выполнения на C++, рассчитанная на встраиваемые задачи. Идея в том, что один и тот же фреймворк работает и на этапе разработки на DGX Spark, и при развертывании на Jetson Thor, DRIVE AGX Thor и IGX Thor. Прототип не придется переписывать под другой рантайм при переносе на целевое железо.
NVIDIA объясняет это задачами физического ИИ: агенты следят за вниманием водителя и состоянием салона, помогают роботам понимать окружение и планировать действия, координируют технику на производственных линиях. Везде жесткие ограничения по памяти, энергопотреблению и задержке.
Как это запускается
Запуск строится вокруг консольной утилиты trtedge. Она скачивает выбранную модель и собирает под Spark оптимизированные движки TensorRT. После этого можно открыть чат с Nemotron-3.5 Lightning прямо в терминале. Модель текстовая, мультимодальности в этом примере нет.
Для приложений есть сервер с API, совместимым с OpenAI. Он поднимает модель локально, так что код, написанный под облачный API, можно направить на устройство, поменяв адрес. Для прототипирования и тестов это удобно.
Требования к окружению:
- DGX Spark с поддерживаемым программным стеком NVIDIA; - CUDA 13; - TensorRT от 10.16.1.11 в пределах ветки 10.x; - Python 3.10-3.12.
Примеры протестированы на TensorRT Edge-LLM 0.11.1. Ставится пакет tensorrt-edgellm с серверным дополнением через pip в виртуальное окружение, созданное с флагом --system-site-packages. Флаг нужен, чтобы окружение видело системный TensorRT. Затем одна команда на Python проверяет версию TensorRT и загрузку рантайма.
Что с цифрами
Прирост на 73% при почти неизменной памяти - заметный результат для устройства, где ресурсы ограничены. Но оговорки очевидны: замер сделан на задачах по программированию из HumanEval, а выигрыш от спекулятивного декодирования зависит от того, насколько часто черновые токены совпадают с тем, что выдала бы основная модель. На других типах текста результат может отличаться. Сравнения с другими рантаймами вроде llama.cpp или vLLM в материале нет, поэтому судить о преимуществе над ними нельзя.
Практический смысл для разработчиков: путь от пустой машины до работающего локального API короткий, а перенос на Jetson Thor и другие платформы заложен в архитектуру. Какие именно модели поддерживаются, смотрите в списке в документации TensorRT Edge-LLM: там же описаны требования для конкретных целевых платформ.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.