Runway
ВидеоRunwayPraxis-1робототехникаWorld Action Modelоткрытые веса

Runway открыла веса Praxis-1: модель для роботов обошла FLUX 3 Action в RoboLab-120

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Runway открыла веса Praxis-1: модель для роботов обошла FLUX 3 Action в RoboLab-120

Runway опубликовала веса и исходный код робототехнической модели Praxis-1 под лицензией Apache 2.0, которая разрешает коммерческое использование. Впервые модель показали в конце сентября, но тогда доступ получили только избранные партнеры. Вместе с релизом вышел подробный исследовательский отчет с новыми замерами.

Как это работает

Praxis-1 получает кадры с камеры, текстовую команду и данные о положении робота. По ним модель предсказывает, как изменится сцена, и из этого прогноза выводит движения. Когда приходят новые кадры, управление пересчитывается. Сама Runway называет такой класс систем World Action Model.

Основа - видеомодель, которая научилась на обычных роликах понимать, как предметы двигаются и взаимодействуют. Потом ее дообучили на видео с действиями людей и на данных роботов. Расчет простой: общие знания о физике из видео могут сократить потребность в дорогих датасетах, собранных специально под роботов. Runway известна видеомоделями вроде Gen-4.5, а с Praxis-1 компания переносит свои видеоисследования в робототехнику. Какая именно видеомодель легла в основу Praxis-1, источник не называет.

Данных роботов все равно нужно немало. Для адаптации к манипулятору Franka взяли около 277 часов записей из открытого датасета DROID. Для двурукого робота понадобилось от 1400 до 2600 часов. Выиграла ли модель в объеме данных по сравнению с аналогами без видеопредобучения, пока неясно: прямого сравнения нет.

Что показали тесты

В рейтинге Nvidia RoboLab-120 (120 задач в симуляции: сортировать, хватать, складывать предметы) Praxis-1 набрала 46,2% успешных выполнений. У FLUX 3 Action, тоже World Action Model, при тех же условиях 42,9%. Это первое место среди моделей этого класса. В общем зачете Praxis-1 пятая: впереди два ИИ-агента и две робомодели с другой архитектурой.

На реальном манипуляторе Franka после дообучения на DROID обе модели прогнали через десять задач, например положить банан на тарелку или закрыть ящик. По десять попыток на задачу: у Praxis-1 88 успехов из 100, у FLUX 3 Action - 80.

Оговорка существенная: все замеры Runway провела сама, независимой проверки пока нет. Разрыв в 3,3 процентного пункта в симуляторе может сжаться или исчезнуть на чужих настройках - это мое предположение, а не вывод из отчета.

Ограничения и кто уже пробует

Модель иногда путает похожие предметы и пока не умеет надежно сама планировать сложные последовательности действий.

С сентября Praxis-1 тестируют Standard Bots, Noble Machines и Ultra - на гуманоиде, промышленной руке и двуруком складском роботе. Для открытого релиза это полезный задел: у модели уже есть опыт на трех разных платформах.

По моему мнению, главное в новости - лицензия. Apache 2.0 дает стартапам и лабораториям возможность взять базовую модель, дообучить под свое железо и не платить за доступ. Насколько хорошо она переносится на новые типы роботов, станет видно, когда сообщество начнет проверять ее на собственных установках.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости