NVIDIA Cosmos 3: открытая омни-модель для физического ИИ и роботов

Когда мир устал от языковых моделей

Пока половина индустрии продолжает наращивать параметры очередных LLM, NVIDIA тихо делает ставку на то, что многие называют следующим фронтиром ИИ - физический мир. На конференции GTC Taipei в рамках Computex компания представила Cosmos 3, и это не просто очередное обновление с приставкой "улучшенный". Это принципиально другой класс моделей, которые должны научить машины понимать физическую реальность - со всеми ее законами, движением, пространством и причинно-следственными связями.

Я слежу за направлением world models уже несколько лет, и честно скажу: большинство попыток создать "модель мира" заканчивались красивыми демо и невпечатляющими результатами на практике. Cosmos 3 выглядит иначе - хотя бы потому, что NVIDIA не пытается продать нам готовое решение, а открывает фундамент для разработчиков.

Что внутри: архитектура, которая меняет правила

Главная техническая изюминка Cosmos 3 - новая архитектура под названием "mixture-of-transformers". Грубо говоря, это гибрид двух типов трансформеров: один заточен под рассуждение и понимание, второй - под генерацию. Они работают вместе, и это позволяет модели сначала "подумать" о том, как объекты взаимодействуют в пространстве и времени, а потом уже генерировать видео или траектории движения.

Сравните это с тем, как работают обычные видеогенераторы вроде Sora или Runway - они впечатляют визуально, но у них нет внутренней физической модели мира. Они угадывают следующий кадр статистически. Cosmos 3 пытается делать что-то принципиально другое: понимать, почему мяч отскочит под определенным углом, прежде чем нарисовать этот отскок.

Отдельно впечатляет масштаб обучающих данных: 20 триллионов токенов, 1 миллиард изображений и 400 миллионов видео - как реальных, так и синтетических. Для контекста: это один из крупнейших мультимодальных датасетов для физического ИИ, который когда-либо использовался публично. Такой объем данных о физическом мире - это не просто количество, это качественный скачок в понимании пространственно-временных зависимостей.

Омни - значит все сразу

Космос 3 называют "омни-моделью" не для красного словца. Большинство мультимодальных систем имеют один "главный" модальный режим (обычно текст), а остальные - как дополнение. Здесь все иначе: текст, видео, изображения, окружающий звук и действия обрабатываются как равноправные участники единого процесса.

Для робототехники это критически важно. Робот в реальном мире воспринимает информацию сразу из множества источников - камеры, микрофоны, сенсоры давления. Если модель умеет синхронно рассуждать обо всех этих потоках, она гораздо лучше понимает контекст ситуации. Именно здесь Cosmos 3 потенциально обходит специализированные решения - не потому что лучше в каждой отдельной задаче, а потому что видит картину целиком.

Линейка: Super, Nano и Edge

Модель выходит в трех конфигурациях. Super - для задач, где нужна максимальная физическая точность и качество. Nano - компактная версия для быстрой генерации и прототипирования. Обе уже доступны. Edge - версия для инференса в реальном времени прямо на устройстве - выйдет позже.

Это умное разделение. Разработчик, который тестирует гипотезу на ноутбуке, возьмет Nano. Производитель промышленных роботов, которому нужна точность до миллиметра, - Super. А Edge открывает возможность для автономных систем, которые не могут позволить себе задержку облачного запроса - беспилотники, роботы-курьеры, промышленные манипуляторы.

Открытый код: стратегия или альтруизм?

Все версии Cosmos 3 открыты. И вот здесь начинается самое интересное с точки зрения бизнес-логики. NVIDIA открывает модели - и это выгодно всем, включая саму NVIDIA. Больше разработчиков строят на Cosmos → больше компаний внедряют физический ИИ → больше вычислений нужно для обучения и инференса → больше продается GPU.

Минг-Ю Лю, вице-президент Cosmos Labs, прямо говорит: фундаментальные модели - это лишь отправная точка. Реальная ценность создается в экосистеме вокруг них. И открытый код - это способ максимально быстро построить эту экосистему. Сравните с подходом OpenAI, который держит GPT-4o за закрытым API: у разработчиков нет возможности запустить его локально, кастомизировать под специфику своего производства, контролировать данные. Для робототехники, где данные часто коммерчески чувствительны, это блокирующий фактор.

Генерализация - нерешенная проблема

Несмотря на весь оптимизм, Лю честен: Cosmos 3 не решает главную проблему физического ИИ. Генерализация - способность робота или агента применять знания в незнакомых ситуациях - остается "святым граалем" робототехники. Cosmos 3 создает архитектурную основу для движения в этом направлении, но не финишную черту.

Это важная оговорка, которую легко потерять в маркетинговом шуме. Мы видим модель, которая умеет рассуждать о физике лучше предыдущих решений, но все еще далека от того, чтобы робот мог зайти на незнакомый завод и сразу начать работать. Путь предстоит долгий.

Что это значит для российских разработчиков

Cosmos 3 доступен на Hugging Face - и это хорошая новость. Модель можно скачать и запустить локально без зависимости от западных облачных сервисов. VPN для скачивания весов может потребоваться в зависимости от региона, но сама модель после загрузки работает автономно. Для компаний, работающих в робототехнике, промышленной автоматизации или разрабатывающих автономные системы - это реальный инструмент, который стоит изучить уже сейчас.

Мы стоим у начала эпохи, когда ИИ выйдет из экранов в физический мир. Cosmos 3 - один из первых серьезных шагов в этом направлении. Не последний, но, возможно, один из самых важных.