Google
ВидеоGoogleStreamVibeВидеоагентыQwen3.5Бенчмарк

Google представила StreamVibe: видеоагент сам решает, когда вмешаться

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Google представила StreamVibe: видеоагент сам решает, когда вмешаться

Исследовательская группа под руководством Google опубликовала StreamVibe - видеоагента, который наблюдает за человеком во время готовки или сборки мебели и подает голос только тогда, когда помощь действительно нужна. В работе участвовали также Stanford, Oxford и несколько американских университетов. Главный итог: идея работает на коротких отрезках, но на длинных видео ошибки накапливаются у всех проверенных моделей.

Какую проблему решают

Существующие видеоассистенты рассчитаны на четкие команды вроде "скажи, когда вода закипит". С просьбой "помоги, если возникнут трудности" они справляются хуже: неявные намерения пользователя не улавливают. Еще одна слабость - память. Ассистент не отслеживает, что уже сделано, поэтому повторяет советы или опаздывает с ними. Если человек посреди работы меняет просьбу, модель нередко держится за исходную.

Бенчмарк и модель

Для проверки авторы собрали набор примерно из 4100 примеров на базе более чем 183 часов записей повседневных дел и работы с программами. Варианты момента и текста подсказки предлагала Gemini 2.5 Flash, а четыре оценщика-человека должны были единогласно одобрить каждый пример. Тест делится на три уровня: прямые инструкции, расплывчатые цели и просьбы, которые меняются со временем. В одном из примеров пользователь разбирает игрушечный экскаватор, сначала просит сообщать о прогрессе, а через три минуты переключается на проверку качества.

На этих данных обучили StreamVibe-VL. По всей видимости, в основе лежит Qwen3.5-9B от Alibaba. Модель каждую секунду решает, молчать или говорить. Второй этап обучения с подкреплением делает ее более сдержанной, чтобы она не перебивала на каждом шагу. Отдельная система памяти хранит список невыполненных просьб и пройденных шагов, но говорить или нет, по-прежнему решает сама модель.

Цифры

Согласно статье, StreamVibe-VL улучшает выбор момента и качество реплик на 10,7% относительно других моделей. Память, по оценке авторов, добавляет еще 12,3% к проактивности и сокращает лишние вмешательства. Базовую модель и другие открытые решения система обгоняет с большим отрывом, однако закрытая Gemini 3.8 Flash в ряде тестов показывает результат выше. Общее понимание видео после дообучения не ухудшилось.

Где все ломается

Самое интересное в работе - слабые места. Когда модели нужно решить лишь в отдельные моменты, уместна ли подсказка, она часто отвечает верно. Но если она обрабатывает видео целиком и опирается на собственные прежние реплики, качество падает у всех проверенных систем. Ключевая метрика содержания ответов при этом проседает на величину до 61,5%. На роликах длиннее пяти минут модели редко попадают в нужный момент, а изменение инструкции в долгом фрагменте отслеживают хуже всего.

Показательный пример из статьи - урок по GIMP, где фото переводят в черно-белое. Модель-соперник JoyAI сообщает, что готовое изображение уже сохранено, хотя пользователь его еще даже не открывал. StreamVibe-VL в нужный момент называет следующий шаг: сначала "Colors", затем "Desaturate".

Что это значит

Пока это исследование, а не продукт. Зато оно хорошо показывает, где упираются "умные очки" и ассистенты с камерой: промолчать вовремя оказывается сложнее, чем ответить на прямой вопрос. Для разработчиков вывод практичный - внешняя память о состоянии задачи снижает число лишних реплик, но ошибки на длинной дистанции она не убирает. Пока этого не решить, ассистент с постоянным наблюдением будет либо навязчивым, либо отстающим.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости