Vercel Labs открыла agent-desktop: ИИ-агенты управляют ПК через дерево доступности

Vercel Labs 30 октября выпустила agent-desktop 1.0.2 - открытый CLI на Rust под лицензией Apache-2.0. Он позволяет любому агенту, который умеет вызывать командную строку, управлять нативными приложениями на macOS, Windows и Linux. Вместо скриншотов инструмент читает дерево доступности операционной системы.
Как это устроено
agent-desktop - инструмент, а не агент. LLM внутри нет, интерфейса тоже. Каждая команда печатает один JSON-ответ и завершается, а цикл "посмотрел - сделал - проверил" остается на стороне вашего агента.
Снимок окна выглядит как JSON, где у каждого элемента, с которым можно взаимодействовать, есть ссылка вида `@s8f3k2p9:e8`. Идентификатор снимка зашит в саму ссылку, поэтому голую `@e8` инструмент отклоняет с ошибкой INVALID_ARGS. Если интерфейс успел измениться, действие вернет STALE_REF или AMBIGUOUS_TARGET, и агенту придется сделать новый снимок. К каждой ошибке прикреплена пометка, можно ли повторять запрос, и повторять стоит только при значении safe. Ссылки разрешаются строго: при сомнении инструмент отказывает, а не угадывает.
Внутри ядро общается с системой через трейт PlatformAdapter. На macOS под ним лежит AX API, на Windows UI Automation. На Linux используется AT-SPI. Каждый бинарник собирается под одну ОС. Всего команд 60, из них 56 рабочих. Графический процессор не нужен.
Экономия токенов
У плотных приложений на Electron в дереве доступности тысячи узлов. Для них есть режим `--skeleton`: он читает только 3 уровня вглубь, а обрезанные контейнеры помечает счетчиком children_count и ссылкой для погружения. Нужный участок догружается командой `snapshot --root`.
Цифры приводит сам автор, независимых замеров нет. По его данным, экономия составила 78-96% токенов относительно полного дампа дерева в Slack, VS Code и Notion. В Apple Maps один взгляд на экран сократился с 3811 до 273 токенов. Смоделированная задача из 52 шагов уместилась в 31 тыс. токенов вместо 198 тыс.
Для сравнения: по документации Anthropic, один скриншот в computer use стоит примерно 1000-1800 токенов. Полный дамп дерева в Apple Maps, судя по этим цифрам, дороже скриншота. Выигрыш дает именно режим skeleton, а не сам отказ от пикселей. Зато у подхода есть бонус: он не зависит от vision-модели и от того, насколько хорошо она попадает по координатам.
Работа в фоне и ограничения
Действия по ссылкам идут через accessibility API, не двигают курсор и не забирают фокус. Пока агент работает, вы можете пользоваться тем же компьютером. Если нужен физический ввод, включается флаг `--headed`. Перед каждым действием инструмент до 5000 мс ждет, пока цель станет видимой, активной и стабильной.
Требования зависят от системы:
- macOS 13+, на Intel и Apple Silicon. Нужно выдать разрешение на Accessibility, подсказка по команде `permissions --guide`. Часть возможностей для системной оболочки пока в планах. - Windows 10 1809+ или Server 2019+, x64 и ARM64. Приложения с более высоким уровнем целостности, чем ваш терминал, ввод отклоняют. - Ubuntu 24.04+ на x86_64 и aarch64, нужен пакет at-spi2-core. Ввод мышью и оверлей курсора работают только на X11.
Что это меняет
Кодовым агентам с доступом к shell теперь не нужен отдельный стек для управления интерфейсом: достаточно вызывать команды и разбирать JSON. Строгие ссылки и пометки о безопасности повторов решают типичную болезнь агентов, которые кликают по устаревшим координатам.
Ограничение подхода известно заранее: все упирается в качество дерева доступности в конкретном приложении. Если программа плохо его заполняет, агент увидит мало. Независимого бенчмарка computer use для agent-desktop пока нет, так что экономию токенов стоит проверять на своих приложениях.
Источники
Похожие новости
Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов
Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.
llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование
Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.
Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц
Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.