NVIDIA
ВидеоNVIDIACosmos 3мировые моделифизический ИИHugging Face

NVIDIA Cosmos 3: открытые чекпоинты генерируют видео и LiDAR для роботов

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
NVIDIA Cosmos 3: открытые чекпоинты генерируют видео и LiDAR для роботов

NVIDIA 2 ноября выложила в блоге для разработчиков разбор Cosmos Framework: на готовых чекпоинтах Cosmos 3 Nano можно генерировать синхронные потоки видео с камер и данные LiDAR для сценариев с беспилотниками, роботами и хирургическими операциями. Для запуска в продакшене отдельно описаны микросервисы Cosmos NIM, которые на GPU H200 дают примерно 2-3-кратное ускорение инференса.

Что внутри Cosmos Framework

Фреймворк открытый и модульный, он закрывает весь цикл: обучение, оптимизацию и инференс. Поддержка уже вышла за пределы Cosmos 3. Туда добавили NVIDIA Alpamayo, GR00T, Qwen, pi0.5 и другие совместимые модели с Hugging Face. Для автоматизации в набор положили agent skills - заготовки, которым можно поручить, например, постобучение.

Обучать модели можно на тексте, изображениях, видео, аудио и действиях. Доступны два режима: LoRA, если нужна экономная адаптация, и полный SFT, который обновляет все параметры. Данные подгружаются из JSONL, WebDataset, LeRobot или через собственные адаптеры, чекпоинты сохраняются, чтобы продолжить прерванный запуск.

Отдельно заявлена поддержка обучения с подкреплением, и набор там широкий:

- DPO - офлайн-оптимизация по предпочтениям; - GRPO - онлайн-RL с правилом или моделью в роли награды и роллаутами на vLLM; - PPO - actor-critic, включая политики для воплощенных агентов в симуляции; - OPD - дистилляция от замороженного учителя; - DiffusionNFT - онлайн-RL для диффузионных мировых моделей.

Роли роллаута, награды и обучения можно развести по разным пулам GPU или оставить на общих. К симуляторам фреймворк подключается, чтобы собирать опыт.

Симуляция: камеры и LiDAR вместе

Главная практическая часть поста - рецепты инференса для Cosmos 3 Nano. Они выдают согласованные между собой видео и LiDAR-наблюдения. Для робототехники и автономного транспорта это существенно: сенсорный стек обычно состоит из нескольких источников, и синтетические данные, где камера и лидар расходятся, мало полезны. Какого качества получается результат, в посте не измеряется, за методикой и метриками NVIDIA отсылает к техническому отчету.

Чекпоинты, по словам авторов, можно запускать уже сейчас. Модели совместимы с Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM и TRT-Edge-LLM, а также с NIM.

Требования к железу и NIM

Для домашней видеокарты модель тяжеловата. По данным поста, потребности в памяти зависят от модели и задачи, а генерация на Cosmos3-Nano требует 58 GiB в BF16 и 44 GiB в FP8. Какие условия стоят за каждой цифрой, в том числе про выгрузку весов (offloading), лучше проверить в самом посте. По моей оценке, потребительские карты с 24-32 ГБ под такую нагрузку не подходят, нужен серверный ускоритель или несколько карт.

Cosmos NIM упаковывает инференс в контейнер с API. Ускорение достигается квантизацией, speculative decoding и маршрутизацией с учетом KV-кэша. Цифра 2-3x приведена для H200, на других GPU результат будет другим. В посте есть пошаговая инструкция: выбрать конфигурацию NIM под свою карту, запустить контейнер, проверить готовность и отправить первый запрос.

Что это меняет

NVIDIA делает ставку на то, что мировые модели нужны как конвейер данных для физического ИИ, а не как демо: сгенерировать редкие сцены, дообучить политику через RL, оптимизировать и выкатить. Ценность в том, что все это собрано в одном открытом наборе и не привязано только к собственным моделям компании - Qwen и pi0.5 в списке поддерживаемых. Насколько синтетические сцены Cosmos 3 помогают на реальных дорогах и операционных, из поста не видно, и это придется проверять самим командам.

Трансляцию о работе с фреймворком NVIDIA назначила на четверг, 5 ноября. Технический отчет с методологией и результатами опубликован отдельно.

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости