V
Генерация кодаVercel Labsagent-desktopcomputer useИИ-агентыRust

Vercel Labs открыла agent-desktop: ИИ-агенты управляют ПК через дерево доступности

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Vercel Labs открыла agent-desktop: ИИ-агенты управляют ПК через дерево доступности

Vercel Labs 30 октября выпустила agent-desktop 1.0.2 - открытый CLI на Rust под лицензией Apache-2.0. Он позволяет любому агенту, который умеет вызывать командную строку, управлять нативными приложениями на macOS, Windows и Linux. Вместо скриншотов инструмент читает дерево доступности операционной системы.

Как это устроено

agent-desktop - инструмент, а не агент. LLM внутри нет, интерфейса тоже. Каждая команда печатает один JSON-ответ и завершается, а цикл "посмотрел - сделал - проверил" остается на стороне вашего агента.

Снимок окна выглядит как JSON, где у каждого элемента, с которым можно взаимодействовать, есть ссылка вида `@s8f3k2p9:e8`. Идентификатор снимка зашит в саму ссылку, поэтому голую `@e8` инструмент отклоняет с ошибкой INVALID_ARGS. Если интерфейс успел измениться, действие вернет STALE_REF или AMBIGUOUS_TARGET, и агенту придется сделать новый снимок. К каждой ошибке прикреплена пометка, можно ли повторять запрос, и повторять стоит только при значении safe. Ссылки разрешаются строго: при сомнении инструмент отказывает, а не угадывает.

Внутри ядро общается с системой через трейт PlatformAdapter. На macOS под ним лежит AX API, на Windows UI Automation. На Linux используется AT-SPI. Каждый бинарник собирается под одну ОС. Всего команд 60, из них 56 рабочих. Графический процессор не нужен.

Экономия токенов

У плотных приложений на Electron в дереве доступности тысячи узлов. Для них есть режим `--skeleton`: он читает только 3 уровня вглубь, а обрезанные контейнеры помечает счетчиком children_count и ссылкой для погружения. Нужный участок догружается командой `snapshot --root`.

Цифры приводит сам автор, независимых замеров нет. По его данным, экономия составила 78-96% токенов относительно полного дампа дерева в Slack, VS Code и Notion. В Apple Maps один взгляд на экран сократился с 3811 до 273 токенов. Смоделированная задача из 52 шагов уместилась в 31 тыс. токенов вместо 198 тыс.

Для сравнения: по документации Anthropic, один скриншот в computer use стоит примерно 1000-1800 токенов. Полный дамп дерева в Apple Maps, судя по этим цифрам, дороже скриншота. Выигрыш дает именно режим skeleton, а не сам отказ от пикселей. Зато у подхода есть бонус: он не зависит от vision-модели и от того, насколько хорошо она попадает по координатам.

Работа в фоне и ограничения

Действия по ссылкам идут через accessibility API, не двигают курсор и не забирают фокус. Пока агент работает, вы можете пользоваться тем же компьютером. Если нужен физический ввод, включается флаг `--headed`. Перед каждым действием инструмент до 5000 мс ждет, пока цель станет видимой, активной и стабильной.

Требования зависят от системы:

- macOS 13+, на Intel и Apple Silicon. Нужно выдать разрешение на Accessibility, подсказка по команде `permissions --guide`. Часть возможностей для системной оболочки пока в планах. - Windows 10 1809+ или Server 2019+, x64 и ARM64. Приложения с более высоким уровнем целостности, чем ваш терминал, ввод отклоняют. - Ubuntu 24.04+ на x86_64 и aarch64, нужен пакет at-spi2-core. Ввод мышью и оверлей курсора работают только на X11.

Что это меняет

Кодовым агентам с доступом к shell теперь не нужен отдельный стек для управления интерфейсом: достаточно вызывать команды и разбирать JSON. Строгие ссылки и пометки о безопасности повторов решают типичную болезнь агентов, которые кликают по устаревшим координатам.

Ограничение подхода известно заранее: все упирается в качество дерева доступности в конкретном приложении. Если программа плохо его заполняет, агент увидит мало. Независимого бенчмарка computer use для agent-desktop пока нет, так что экономию токенов стоит проверять на своих приложениях.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения