Runway открыла веса Praxis-1: модель для роботов обошла FLUX 3 Action в RoboLab-120

Runway опубликовала веса и исходный код робототехнической модели Praxis-1 под лицензией Apache 2.0, которая разрешает коммерческое использование. Впервые модель показали в конце сентября, но тогда доступ получили только избранные партнеры. Вместе с релизом вышел подробный исследовательский отчет с новыми замерами.
Как это работает
Praxis-1 получает кадры с камеры, текстовую команду и данные о положении робота. По ним модель предсказывает, как изменится сцена, и из этого прогноза выводит движения. Когда приходят новые кадры, управление пересчитывается. Сама Runway называет такой класс систем World Action Model.
Основа - видеомодель, которая научилась на обычных роликах понимать, как предметы двигаются и взаимодействуют. Потом ее дообучили на видео с действиями людей и на данных роботов. Расчет простой: общие знания о физике из видео могут сократить потребность в дорогих датасетах, собранных специально под роботов. Runway известна видеомоделями вроде Gen-4.5, а с Praxis-1 компания переносит свои видеоисследования в робототехнику. Какая именно видеомодель легла в основу Praxis-1, источник не называет.
Данных роботов все равно нужно немало. Для адаптации к манипулятору Franka взяли около 277 часов записей из открытого датасета DROID. Для двурукого робота понадобилось от 1400 до 2600 часов. Выиграла ли модель в объеме данных по сравнению с аналогами без видеопредобучения, пока неясно: прямого сравнения нет.
Что показали тесты
В рейтинге Nvidia RoboLab-120 (120 задач в симуляции: сортировать, хватать, складывать предметы) Praxis-1 набрала 46,2% успешных выполнений. У FLUX 3 Action, тоже World Action Model, при тех же условиях 42,9%. Это первое место среди моделей этого класса. В общем зачете Praxis-1 пятая: впереди два ИИ-агента и две робомодели с другой архитектурой.
На реальном манипуляторе Franka после дообучения на DROID обе модели прогнали через десять задач, например положить банан на тарелку или закрыть ящик. По десять попыток на задачу: у Praxis-1 88 успехов из 100, у FLUX 3 Action - 80.
Оговорка существенная: все замеры Runway провела сама, независимой проверки пока нет. Разрыв в 3,3 процентного пункта в симуляторе может сжаться или исчезнуть на чужих настройках - это мое предположение, а не вывод из отчета.
Ограничения и кто уже пробует
Модель иногда путает похожие предметы и пока не умеет надежно сама планировать сложные последовательности действий.
С сентября Praxis-1 тестируют Standard Bots, Noble Machines и Ultra - на гуманоиде, промышленной руке и двуруком складском роботе. Для открытого релиза это полезный задел: у модели уже есть опыт на трех разных платформах.
По моему мнению, главное в новости - лицензия. Apache 2.0 дает стартапам и лабораториям возможность взять базовую модель, дообучить под свое железо и не платить за доступ. Насколько хорошо она переносится на новые типы роботов, станет видно, когда сообщество начнет проверять ее на собственных установках.
Источники
Похожие новости
NVIDIA Cosmos 3: открытые чекпоинты генерируют видео и LiDAR для роботов
NVIDIA опубликовала рецепты Cosmos Framework для модели Cosmos 3 Nano: синхронное видео и LiDAR для беспилотников, роботов и хирургии. Через NIM инференс на H200 быстрее примерно в 2-3 раза.
Google выпустила Gemini Omni 1.2 Flash: видео до 15 секунд и цена на 30% ниже
Google открыла общий доступ к Gemini Omni 1.2 Flash: клипы до 15 секунд вместо 10, правки репликами без перегенерации и $0.07 за секунду видео в 720p.
Google представила StreamVibe: видеоагент сам решает, когда вмешаться
Исследователи Google, Stanford и Oxford обучили видеоагента подсказывать по ходу работы. Тесты показали: на роликах дольше пяти минут модели редко выбирают нужный момент.