Google
Генерация кодаGoogle ResearchHarness2AI-агентырекурсивное самоулучшениеopen source

Google открывает Harness²: агент, который сам улучшает себя без дообучения

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Google открывает Harness²: агент, который сам улучшает себя без дообучения

Что случилось и почему это не очередная библиотека

Гугловские исследователи тихо выложили на arXiv препринт и открыли код фреймворка, который переписывает правила работы с агентами. Harness² - это не новая модель и не очередной prompt-менеджер. Это система, которая на лету переписывает "обвязку" агента (то, что авторы называют harness - набор инструкций, инструментов и логики исполнения) прямо во время тестирования, без единого обновления весов.

На первый взгляд звучит как трюк. На второй - это один из самых честных подходов к рекурсивному самоулучшению, который я видел за последнее время.

Две петли рекурсии вместо одной

Авторы - команда из девяти человек, включая Ruiyao Xu, Yanfei Chen и исследователей из Google - выстроили архитектуру из двух уровней рекурсии, и это принципиально отличает Harness² от предыдущих попыток сделать "самоулучшающихся" агентов.

Первый уровень работает на конкретной задаче. Система использует шаг "Propose-Probe-Compose": предлагает изменение в harness, зондирует его на подзадачах и собирает из результатов уточненную версию. Хитрость в том, что это происходит без ground-truth верификатора - то есть системе не нужен "правильный ответ" снаружи, чтобы понять, стало ли лучше. Это решает главную проблему RSI (recursive self-improvement) в реальных условиях: в открытом мире никто не даст тебе эталон для каждой новой задачи.

Второй уровень работает поверх первого. Система накапливает опыт из всех правок harness и обновляет "мета-harness" - улучшатель улучшателей. Следующие задачи агент встречает уже с более острым инструментом адаптации.

Цифры, которые сложно проигнорировать

Меня в подобных работах всегда интересует не архитектура, а числа на бенчмарках - и здесь они убедительные.

до +11,5 пункта на WorkBuddy-Bench для GLM-5 за один шаг рекурсии. до +4,5 пункта на JobBench. до +11,8 процентного пункта на LAB. Авторы тестировали четыре конфигурации "модель + harness" на трех бенчмарках, и в каждой из них один шаг рекурсии давал прирост над базовым harness - хотя конкретные значения варьируются по конфигурации.

Gemini 3.5 Flash тоже получил прирост по всем трем бенчмаркам, хотя конкретные цифры в препринте варьируются по конфигурации. Суть одна: базовый harness модели - это не потолок, и Harness² это демонстрирует эмпирически, а не в теории.

При этом бюджет рекурсии масштабируется: чем больше шагов task-level recursion ты разрешаешь, тем выше прирост. Параллельная и последовательная рекурсия поддерживаются отдельно, так что можно выбирать между скоростью и качеством.

Почему это важно именно сейчас

Последние полтора года индустрия обсуждает агентов в основном через призму инструментов и памяти - дай модели браузер, дай ей базу данных, и она справится. Harness² предлагает другой угол: проблема не только в том, что у агента нет нужного инструмента, но и в том, как он организует работу с любым инструментом.

Это особенно актуально для enterprise-сценариев, где задачи нестандартны и постоянно меняются. Ни один статичный harness не покроет все кейсы заказчика. Возможность адаптировать логику агента прямо на задаче - без переобучения, без звонка вендору - меняет операционную модель.

Сравним с тем, что делают конкуренты. AutoGen от Microsoft и LangGraph позволяют строить сложные агентные пайплайны, но адаптация harness там ручная - разработчик сам переписывает граф или промпты. DSPy от Стэнфорда умеет оптимизировать промпты автоматически, но работает с фиксированной программой. Harness² делает ставку на то, что сама структура исполнения должна быть изменяемой, и делает это без верификатора - что практичнее.

Открытый код: что это значит на практике

Код доступен публично, препринт лежит на arXiv (2610.14224). Лицензия в препринте не указана - уточняйте в репозитории перед использованием в коммерческом продукте.

Для разработчиков это означает, что Harness² можно подключить к существующему агенту как "plug-and-play" компонент - авторы прямо так и описывают архитектуру. Никакой привязки к конкретной модели: в экспериментах использовались GLM-5 и Gemini 3.5 Flash, но механика не зависит от конкретного LLM.

Если у вас есть доступ к совместимой модели через локальный деплой или облачного провайдера - фреймворк работает как обертка над API. Насколько гладко он встанет в конкретную инфраструктуру, зависит от вашей конфигурации: авторы этот вопрос отдельно не рассматривали.

Где я вижу ограничения

Препринт честно описывает, что RSI в открытом мире все еще имеет нерешенные проблемы. Harness² решает две конкретные - отсутствие верификатора и плохую обобщаемость - но не претендует на полное решение задачи.

Меня беспокоит вопрос стабильности: что происходит, когда рекурсивный улучшатель начинает улучшать себя в сценариях, далеких от тренировочного распределения бенчмарков? Авторы тестировали на трех профессиональных бенчмарках, но открытый мир шире. Это не критика работы - это честный вопрос, который предстоит проверить сообществу.

Второй момент: вычислительная стоимость. Каждый шаг рекурсии - это дополнительные инференс-вызовы. Для продакшн-систем с жесткими latency-требованиями это нужно считать отдельно.

Что дальше

Google выпустила Harness² как исследовательский инструмент с открытым кодом и plug-and-play архитектурой - это намекает на то, что команда ждет внешних экспериментов. Три профессиональных бенчмарка - хорошее начало, но настоящая проверка будет, когда сообщество начнет гонять фреймворк на нестандартных задачах.

Если прирост до 11,5 пункта без изменения весов воспроизводится за пределами лабораторных условий - это меняет то, как мы думаем о деплое агентов в продакшн.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения