Google представила StreamVibe: видеоагент сам решает, когда вмешаться

Исследовательская группа под руководством Google опубликовала StreamVibe - видеоагента, который наблюдает за человеком во время готовки или сборки мебели и подает голос только тогда, когда помощь действительно нужна. В работе участвовали также Stanford, Oxford и несколько американских университетов. Главный итог: идея работает на коротких отрезках, но на длинных видео ошибки накапливаются у всех проверенных моделей.
Какую проблему решают
Существующие видеоассистенты рассчитаны на четкие команды вроде "скажи, когда вода закипит". С просьбой "помоги, если возникнут трудности" они справляются хуже: неявные намерения пользователя не улавливают. Еще одна слабость - память. Ассистент не отслеживает, что уже сделано, поэтому повторяет советы или опаздывает с ними. Если человек посреди работы меняет просьбу, модель нередко держится за исходную.
Бенчмарк и модель
Для проверки авторы собрали набор примерно из 4100 примеров на базе более чем 183 часов записей повседневных дел и работы с программами. Варианты момента и текста подсказки предлагала Gemini 2.5 Flash, а четыре оценщика-человека должны были единогласно одобрить каждый пример. Тест делится на три уровня: прямые инструкции, расплывчатые цели и просьбы, которые меняются со временем. В одном из примеров пользователь разбирает игрушечный экскаватор, сначала просит сообщать о прогрессе, а через три минуты переключается на проверку качества.
На этих данных обучили StreamVibe-VL. По всей видимости, в основе лежит Qwen3.5-9B от Alibaba. Модель каждую секунду решает, молчать или говорить. Второй этап обучения с подкреплением делает ее более сдержанной, чтобы она не перебивала на каждом шагу. Отдельная система памяти хранит список невыполненных просьб и пройденных шагов, но говорить или нет, по-прежнему решает сама модель.
Цифры
Согласно статье, StreamVibe-VL улучшает выбор момента и качество реплик на 10,7% относительно других моделей. Память, по оценке авторов, добавляет еще 12,3% к проактивности и сокращает лишние вмешательства. Базовую модель и другие открытые решения система обгоняет с большим отрывом, однако закрытая Gemini 3.8 Flash в ряде тестов показывает результат выше. Общее понимание видео после дообучения не ухудшилось.
Где все ломается
Самое интересное в работе - слабые места. Когда модели нужно решить лишь в отдельные моменты, уместна ли подсказка, она часто отвечает верно. Но если она обрабатывает видео целиком и опирается на собственные прежние реплики, качество падает у всех проверенных систем. Ключевая метрика содержания ответов при этом проседает на величину до 61,5%. На роликах длиннее пяти минут модели редко попадают в нужный момент, а изменение инструкции в долгом фрагменте отслеживают хуже всего.
Показательный пример из статьи - урок по GIMP, где фото переводят в черно-белое. Модель-соперник JoyAI сообщает, что готовое изображение уже сохранено, хотя пользователь его еще даже не открывал. StreamVibe-VL в нужный момент называет следующий шаг: сначала "Colors", затем "Desaturate".
Что это значит
Пока это исследование, а не продукт. Зато оно хорошо показывает, где упираются "умные очки" и ассистенты с камерой: промолчать вовремя оказывается сложнее, чем ответить на прямой вопрос. Для разработчиков вывод практичный - внешняя память о состоянии задачи снижает число лишних реплик, но ошибки на длинной дистанции она не убирает. Пока этого не решить, ассистент с постоянным наблюдением будет либо навязчивым, либо отстающим.
Источники
Похожие новости
Runway открыла веса Praxis-1: модель для роботов обошла FLUX 3 Action в RoboLab-120
Runway выложила веса и код Praxis-1 под Apache 2.0. Модель опирается на видеомодель и дала 46,2% в симуляторе RoboLab-120 против 42,9% у FLUX 3 Action, но тесты компания провела сама.
NVIDIA Cosmos 3: открытые чекпоинты генерируют видео и LiDAR для роботов
NVIDIA опубликовала рецепты Cosmos Framework для модели Cosmos 3 Nano: синхронное видео и LiDAR для беспилотников, роботов и хирургии. Через NIM инференс на H200 быстрее примерно в 2-3 раза.
Google выпустила Gemini Omni 1.2 Flash: видео до 15 секунд и цена на 30% ниже
Google открыла общий доступ к Gemini Omni 1.2 Flash: клипы до 15 секунд вместо 10, правки репликами без перегенерации и $0.07 за секунду видео в 720p.