NVIDIA Cosmos 3: открытые чекпоинты генерируют видео и LiDAR для роботов

NVIDIA 2 ноября выложила в блоге для разработчиков разбор Cosmos Framework: на готовых чекпоинтах Cosmos 3 Nano можно генерировать синхронные потоки видео с камер и данные LiDAR для сценариев с беспилотниками, роботами и хирургическими операциями. Для запуска в продакшене отдельно описаны микросервисы Cosmos NIM, которые на GPU H200 дают примерно 2-3-кратное ускорение инференса.
Что внутри Cosmos Framework
Фреймворк открытый и модульный, он закрывает весь цикл: обучение, оптимизацию и инференс. Поддержка уже вышла за пределы Cosmos 3. Туда добавили NVIDIA Alpamayo, GR00T, Qwen, pi0.5 и другие совместимые модели с Hugging Face. Для автоматизации в набор положили agent skills - заготовки, которым можно поручить, например, постобучение.
Обучать модели можно на тексте, изображениях, видео, аудио и действиях. Доступны два режима: LoRA, если нужна экономная адаптация, и полный SFT, который обновляет все параметры. Данные подгружаются из JSONL, WebDataset, LeRobot или через собственные адаптеры, чекпоинты сохраняются, чтобы продолжить прерванный запуск.
Отдельно заявлена поддержка обучения с подкреплением, и набор там широкий:
- DPO - офлайн-оптимизация по предпочтениям; - GRPO - онлайн-RL с правилом или моделью в роли награды и роллаутами на vLLM; - PPO - actor-critic, включая политики для воплощенных агентов в симуляции; - OPD - дистилляция от замороженного учителя; - DiffusionNFT - онлайн-RL для диффузионных мировых моделей.
Роли роллаута, награды и обучения можно развести по разным пулам GPU или оставить на общих. К симуляторам фреймворк подключается, чтобы собирать опыт.
Симуляция: камеры и LiDAR вместе
Главная практическая часть поста - рецепты инференса для Cosmos 3 Nano. Они выдают согласованные между собой видео и LiDAR-наблюдения. Для робототехники и автономного транспорта это существенно: сенсорный стек обычно состоит из нескольких источников, и синтетические данные, где камера и лидар расходятся, мало полезны. Какого качества получается результат, в посте не измеряется, за методикой и метриками NVIDIA отсылает к техническому отчету.
Чекпоинты, по словам авторов, можно запускать уже сейчас. Модели совместимы с Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM и TRT-Edge-LLM, а также с NIM.
Требования к железу и NIM
Для домашней видеокарты модель тяжеловата. По данным поста, потребности в памяти зависят от модели и задачи, а генерация на Cosmos3-Nano требует 58 GiB в BF16 и 44 GiB в FP8. Какие условия стоят за каждой цифрой, в том числе про выгрузку весов (offloading), лучше проверить в самом посте. По моей оценке, потребительские карты с 24-32 ГБ под такую нагрузку не подходят, нужен серверный ускоритель или несколько карт.
Cosmos NIM упаковывает инференс в контейнер с API. Ускорение достигается квантизацией, speculative decoding и маршрутизацией с учетом KV-кэша. Цифра 2-3x приведена для H200, на других GPU результат будет другим. В посте есть пошаговая инструкция: выбрать конфигурацию NIM под свою карту, запустить контейнер, проверить готовность и отправить первый запрос.
Что это меняет
NVIDIA делает ставку на то, что мировые модели нужны как конвейер данных для физического ИИ, а не как демо: сгенерировать редкие сцены, дообучить политику через RL, оптимизировать и выкатить. Ценность в том, что все это собрано в одном открытом наборе и не привязано только к собственным моделям компании - Qwen и pi0.5 в списке поддерживаемых. Насколько синтетические сцены Cosmos 3 помогают на реальных дорогах и операционных, из поста не видно, и это придется проверять самим командам.
Трансляцию о работе с фреймворком NVIDIA назначила на четверг, 5 ноября. Технический отчет с методологией и результатами опубликован отдельно.
Источники
Похожие новости
Runway открыла веса Praxis-1: модель для роботов обошла FLUX 3 Action в RoboLab-120
Runway выложила веса и код Praxis-1 под Apache 2.0. Модель опирается на видеомодель и дала 46,2% в симуляторе RoboLab-120 против 42,9% у FLUX 3 Action, но тесты компания провела сама.
Google выпустила Gemini Omni 1.2 Flash: видео до 15 секунд и цена на 30% ниже
Google открыла общий доступ к Gemini Omni 1.2 Flash: клипы до 15 секунд вместо 10, правки репликами без перегенерации и $0.07 за секунду видео в 720p.
Google представила StreamVibe: видеоагент сам решает, когда вмешаться
Исследователи Google, Stanford и Oxford обучили видеоагента подсказывать по ходу работы. Тесты показали: на роликах дольше пяти минут модели редко выбирают нужный момент.