NVIDIA учит нейросети на 4 битах: прорыв, который удвоит скорость обучения

Когда четыре бита лучше восьми

Есть вещи, которые в мире ИИ принято считать незыблемыми. Одна из них - что серьезное обучение больших языковых моделей требует как минимум FP8-точности. NVIDIA только что поставила этот постулат под сомнение. Исследовательская группа компании представила методологию предобучения на основе формата NVFP4 и провалидировала ее на 12-миллиардной гибридной модели Mamba-Transformer, обученной на 10 триллионах токенов. По заявлению авторов - это самый длинный публично задокументированный тренировочный прогон в 4-битной точности на сегодняшний день.

Результат на бенчмарке MMLU-Pro (5-shot): 62.58% у NVFP4-модели против 62.62% у базовой FP8-модели. Разница в четыре сотых процента - это статистический шум, а не деградация качества.

Что такое NVFP4 и чем он отличается от конкурентов

FP4-форматы существуют не первый год - тот же MXFP4 давно в арсенале индустрии. Проблема стандартного подхода: блоки из 32 элементов с масштабирующим коэффициентом в формате UE8M0 (только степени двойки) дают слишком грубое покрытие динамического диапазона. Как только встречается выброс - точность рушится.

NVFP4 переосмысливает три ключевых параметра. Блок сжимается с 32 до 16 элементов - меньший диапазон на блок означает более точное масштабирование. Коэффициенты блоков переходят из UE8M0 в E4M3: вместо грубых степеней двойки появляется мантисса, и абсолютный максимум блока отображается значительно точнее. Наконец, добавляется второй уровень масштабирования - FP32-коэффициент на весь тензор, который удерживает E4M3-блоки в допустимом диапазоне.

Практический итог: как минимум 6.25% значений в каждом блоке (те самые пиковые значения) представлены с точностью, близкой к FP8, а все остальное - в FP4. На архитектуре Blackwell это дает 4× прирост пропускной способности GEMM относительно BF16 на GB200 и 6× на GB300, что транслируется в примерно 2-3× ускорение по сравнению с FP8. Объем операндной памяти сокращается примерно вдвое относительно FP8.

Четыре компонента, без которых ничего не работает

Наивное применение FP4 ко всем линейным слоям приводит к расхождению обучения уже на ранних стадиях. Команда NVIDIA разработала четырехкомпонентную методологию, и абляционные исследования на 12B-модели показывают: каждый компонент необходим.

Селективная высокая точность. Первые два и последние восемь из 62 блоков модели (~16% всех линейных слоев) остаются в BF16. Финальные блоки особенно чувствительны к динамическому диапазону - там FP4 просто не справляется.

Случайные преобразования Адамара (RHT). Выбросы в градиентах весов - главный враг стабильного обучения в низкой точности. Умножение входных тайлов на матрицу Адамара 16×16 с вектором случайных знаков ±1 размазывает выбросы в примерно гауссово распределение. Поскольку ортогональные преобразования взаимно уничтожаются внутри скалярного произведения, математической коррекции внутри GEMM не требуется. Размер d=16 выбран эмпирически: d=4 ухудшал сходимость, d=128 давал аналогичные результаты.

Двумерное масштабирование весов (2D weight scaling). Вместо одного масштабирующего коэффициента на строку или столбец - двумерная схема, лучше адаптирующаяся к реальной структуре весовых матриц.

Стохастическое округление градиентов. Вместо стандартного округления до ближайшего четного - вероятностное, которое устраняет систематическое смещение, накапливающееся при низкоточной арифметике в ходе обратного распространения.

При этом сами веса модели, градиенты весов для аккумуляции между микробатчами и состояния оптимизатора хранятся в FP32 - компромисс оправданный: именно эти данные определяют качество обновлений.

Реальные цифры из production-экспериментов

Помимо флагманского 12B-эксперимента, отдельная серия тестов проводилась на моделях Llama 3 8B и внутренней Research-8B на 1 триллионе токенов через NVIDIA NeMo Megatron Bridge на GPU B200. Прирост пропускной способности составил до 1.59× относительно BF16, при этом точность на downstream-бенчмарках оказалась практически идентичной базовой линии. NVFP4 при этом требует селективных BF16-слоев для стабильного схождения - что полностью согласуется с методологией из основного исследования.

Важный контекст: NVFP4 уже обкатывается в партнерстве с AWS, Google Cloud, Microsoft AI, OpenAI, Mistral, Cohere, Kimi AI, Perplexity и Runway. Это не академический эксперимент в вакууме - индустрия активно тестирует формат в реальных условиях.

Что это меняет для рынка

Переход от FP8 к FP4 - это не просто еще один шаг по шкале битности. Это потенциальный перелом в экономике обучения LLM. Если раньше обучение frontier-модели требовало огромных кластеров дорогих GPU, то вдвое меньший расход памяти и 2-3× ускорение вычислений означают, что тот же бюджет инфраструктуры позволяет обучить модель вдвое большего размера - или обучить ту же модель вдвое быстрее.

Для стартапов и mid-size компаний это особенно значимо: вместо дообучения чужих моделей появляется реальная возможность растить собственные foundation models с нуля. NVFP4 также заметно превосходит конкурирующий MXFP4 - по данным источников, для достижения сопоставимой точности ему требуется на 36% меньше обучающих данных.

Единственная оговорка: все это работает только на архитектуре Blackwell (GB200, GB300). Владельцам предыдущих поколений GPU придется подождать либо обновления железа, либо программных эмуляций - что нивелирует часть преимуществ.

Для российских разработчиков и исследователей: методология открыта через arXiv (препринт 2509.25149), NVIDIA Transformer Engine и NeMo Framework - инструментарий доступен без географических ограничений, хотя само железо Blackwell в РФ остается под санкционными ограничениями на поставку.

Информация о прорыве подтверждена несколькими независимыми публикациями, включая технические блоги NVIDIA и аналитические материалы специализированных изданий.