Google Gemini Omni: ИИ научили видеть мир как человек

Google только что подняла планку в гонке мультимодальных моделей. Новая Gemini Omni — это не просто очередной апгрейд, а попытка научить ИИ воспринимать видео так, как это делаем мы с вами: не разбивая на кадры, а схватывая суть происходящего в движении.

До сих пор даже самые продвинутые модели — GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro — работали с видео примитивно: нарезали ролик на статичные кадры, анализировали каждый отдельно, потом пытались склеить понимание воедино. Это как смотреть фильм через раскадровку — технически информация есть, но динамика, контекст движения, временны́е связи теряются. Google утверждает, что Omni обрабатывает видеопоток нативно, улавливая пространственно-временные паттерны напрямую.

Что под капотом

Технические детали пока скупы — Google традиционно не раскрывает архитектуру до официальных публикаций. Но судя по заявлениям, речь идёт о трансформере с 3D-вниманием (temporal attention layers), который обрабатывает последовательности видеокадров как единый тензор, а не цепочку независимых изображений. Похожую технологию использовали в VideoBERT и TimeSformer, но там масштабы были игрушечными.

Здесь же, видимо, Google задействовала наработки из Gemini 1.5 Pro с его контекстным окном в 1 млн токенов — только теперь это окно заточено под видео. Если раньше миллион токенов означал 700 тысяч слов текста, то теперь это может быть час видео в высоком разрешении без потери качества анализа.

Сравните с конкурентами: GPT-4V от OpenAI принимает максимум несколько минут видео и обрабатывает его через сэмплирование кадров. Claude 3.5 Sonnet от Anthropic вообще официально не поддерживает видео, только статичные изображения. Gemini 1.5 Pro умел работать с длинными роликами, но всё равно через кадровую нарезку.

Что это меняет на практике

Представьте: вы загружаете в чат часовую запись совещания. Старые модели могли бы пересказать содержание по слайдам и репликам, но пропустили бы невербалику — кто отвернулся при обсуждении бюджета, кто кивнул на предложение конкурента. Omni, по идее, должна ловить эти микросигналы.

Для разработчиков это новый уровень автоматизации: распознавание действий в видеонаблюдении (не просто «человек вошёл», а «человек вошёл торопливо, оглядываясь»), анализ спортивных матчей (понимание тактики, а не только счёта), модерация контента (улавливание контекста сцен, а не отдельных кадров).

Бизнесу это даёт инструмент для видеоаналитики без армии аналитиков: разбор поведения клиентов в магазинах, аудит производственных процессов, контроль качества на конвейерах. Раньше для этого нужны были специализированные computer vision решения, теперь — один API-запрос к языковой модели.

Сравнение с реальностью

Я скептически отношусь к маркетинговым обещаниям «понимает как человек». Проверим на деле: может ли модель отличить актёрскую игру от реальной эмоции? Уловить сарказм по интонации и мимике одновременно? Понять, что человек на видео лжёт, по микровыражениям?

Человеческое восприятие — это не только обработка визуального потока, но и огромная база жизненного опыта, культурных кодов, эмпатии. ИИ может научиться паттернам, но не прожитому опыту. Так что «как человек» — это скорее «лучше, чем покадровый анализ», но до настоящего понимания ещё космическая дистанция.

Тем не менее, если Google действительно решила проблему темпорального внимания на больших масштабах, это качественный скачок. Конкуренты наверняка уже точат свои версии: OpenAI работает над Sora (генерация видео) и наверняка интегрирует понимание видео в GPT-5, Anthropic молчит, но их исследовательская культура предполагает тщательную подготовку перед анонсами.

Доступность и ограничения

Вопрос, который волнует российских пользователей: работает ли это у нас? Google AI Studio и Gemini API официально недоступны из России без VPN. Карты российских банков не принимаются. То есть для тестирования нужна связка VPN + зарубежная карта или виртуалка типа Wise.

Альтернативы для тех, кто в РФ: YandexGPT понимает видео через интеграцию с компьютерным зрением, но это скорее костыль, чем нативная поддержка. GigaChat от Сбера пока вообще не работает с видео. Остаётся либо мучиться с VPN, либо ждать, когда отечественные разработчики догонят.

Ценообразование Google пока не раскрыла, но если ориентироваться на Gemini 1.5 Pro, обработка видео будет стоить дороже текста — примерно $0.07 за минуту видео. Для корпоративного использования приемлемо, для массового пользователя — дороговато.

Что дальше

Омни — это часть большой стратегии Google по унификации модальностей. Текст, изображения, видео, звук — всё в одной модели, без костылей и конвертеров. OpenAI идёт тем же путём с GPT-4o (omni), но пока их видеовозможности публично не раскрыты.

Следующий логичный шаг — реальное время. Сейчас модели анализируют загруженное видео. А что если стримить камеру напрямую в модель и получать мгновенные инсайты? Для робототехники, автопилотов, AR-очков это критично. Google наверняка работает в этом направлении, и Omni — первая ласточка.

Для разработчиков совет: не ждите чуда, тестируйте. Маркетинг обещает одно, реальность часто другое. Проверьте на своих данных, насколько модель действительно понимает контекст, а не просто угадывает по ключевым кадрам. И готовьтесь к тому, что через полгода выйдет что-то ещё более продвинутое — такова скорость гонки ИИ в 2026 году.