NVIDIA
Генерация кодаNVIDIATensor CoreBlackwellPETмежатомные потенциалы

NVIDIA ускорила матричные операции в модели PET до 2,5 раза на Blackwell

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
NVIDIA ускорила матричные операции в модели PET до 2,5 раза на Blackwell

NVIDIA опубликовала разбор того, как считать межатомные потенциалы на машинном обучении быстрее, не теряя в точности. На модели Point Edge Transformer (PET) из лаборатории COSMO в EPFL проверили два метода: BF16x9 на GPU Blackwell и TF32x3 на GPU Ampere. Большие матричные умножения (GEMM) в PET на Blackwell ускорились в 2,2-2,5 раза для системы из 17 280 атомов и в 1,2-1,4 раза для системы из 192 атомов. На Ampere основные GEMM стали быстрее в 1,7-1,9 раза, а полный шаг молекулярной динамики - до 1,5 раза.

Почему FP32 до сих пор в ходу

Модели межатомных потенциалов предсказывают энергию системы, а силы получают дифференцированием этой энергии. Эти силы на каждом шаге двигают атомы, поэтому мелкая ошибка копится и портит траекторию. Из-за этого многие такие модели считают в FP32, хотя Tensor Core в низкой точности дают заметно больше операций в секунду.

Использованные методы обходят это противоречие. Каждый FP32-операнд раскладывают на компоненты пониженной точности, их произведения считают на Tensor Core, а результат собирают обратно в FP32. Переобучать модель и менять ее веса или архитектуру не нужно.

PET - непростой кандидат для такого теста. Большая часть его времени и так уходит на хорошо оптимизированные GEMM, поэтому запаса для ускорения мало.

Что показали измерения

На Blackwell выигрыш зависит от размера системы: чем больше атомов, тем крупнее матрицы и тем лучше работает Tensor Core. Ошибка BF16x9, по данным NVIDIA, ниже собственной недетерминированности модели, то есть шума, который PET дает и без всяких трюков с точностью.

На Ampere авторы проверили не только скорость, но и поведение траектории. В NVE-расчетах (постоянные число частиц, объем и энергия) TF32x3 сохраняет гладкость потенциальной энергии и закон сохранения энергии так же, как FP32. Обычный однопроходный TF32 в том же тесте показывает дрейф энергии и шероховатость кривой.

Отдельный тест - релаксация структуры, то есть поиск положения атомов с минимальной энергией. Взяли плиту сплава Кантора на 539 атомов. С TF32x3 расчет сошелся за 218-222 шага при ускорении шага в 1,5 раза. Однопроходный TF32 не достиг заданного порога по силам даже за 1000 шагов.

Что это меняет

Главный вывод из цифр: просто перейти на TF32 нельзя, а многопроходная версия работает. Если в вашем коде MLIP стоит FP32 "на всякий случай", у этого решения есть измеримая цена, и ее можно снизить без переделки модели.

Ограничения тоже видны. Результаты получены на одной архитектуре модели, и ускорение полного шага на Blackwell NVIDIA в приведенных данных не называет: там указан только выигрыш на GEMM. Для малых систем он скромнее, 1,2-1,4x. Как ведут себя другие потенциалы, нужно проверять отдельно.

Для тех, кто хочет повторить, NVIDIA указывает три точки входа: документация cuBLAS для включения BF16x9 на Blackwell, документация ALCHEMI Toolkit с примерами интеграции TF32x3 и репозиторий UPET с чекпойнтами PET. Авторы поста - Anoushka Bhutani, Atul Thakur, Erica Tsai, Kristopher Keipert и Michele Ceriotti.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения