A
Генерация кодаAlibabaCo-Design BenchGPT-6 AstraИИ-агентыбенчмарк

Alibaba: лучший ИИ-агент полностью решает лишь 26,4% реальных задач по коду

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Alibaba: лучший ИИ-агент полностью решает лишь 26,4% реальных задач по коду

Исследователи Alibaba и нескольких азиатских университетов опубликовали бенчмарк Co-Design Bench для агентов-программистов. Лучший результат у GPT-6 Astra: он полностью выполняет только 26,4% задач. В среднем модель закрывает около 70% требований к задаче, но почти всегда оставляет хотя бы одну недоделку, которую человеку приходится дочищать вручную.

Что проверяют

Агенту дают готовое веб-приложение и просят его переделать по запросу пользователя. Иногда входными данными служат картинки, аудиозаписи, видео или документы. Задачи бывают мелкими: достать сумму из чека и пересчитать все зависящие от нее итоги. Бывают и масштабными, вплоть до переработки всего проекта.

Задания взяты из реальных рабочих сессий, и авторы выбирали те, где пользователю приходилось по несколько раз переформулировать просьбу или откатывать изменения. То есть в тест попало то, на чем агенты уже спотыкались на практике.

Проверка строгая. Один ИИ-судья запускает готовое приложение в браузере и смотрит, что работает. Второй перепроверяет каждый положительный вердикт и ищет заглушки и результаты, прописанные в коде вручную. Балл дают только за функции, которые действительно работают.

Старые тесты уперлись в потолок

Авторы объясняют появление бенчмарка насыщением прежних. Агенты умеют запускать код, проверять его и исправлять сами, поэтому на старых тестах набирают больше 99%, и различия между моделями почти не видны. На WebCompass-edit разрыв с Co-Design Bench составляет более 35 процентных пунктов.

Среди десяти моделей за GPT-6 Astra следуют Claude Opus 5 и Qwen3.8-Max, последнее место у Grok 4.6. На крупных переработках второе место неожиданно занимает компактная Qwen3.8-27B, но авторы не делают из этого вывода о преимуществе модели в целом.

Где агенты ломаются

Качество падает у всех десяти моделей, когда в одной задаче сочетаются разные типы правок: верстка, дизайн, взаимодействие, содержание. Три-четыре типа сразу снижают результат у каждой модели. В реальных проектах запросы почти всегда такие, смешанные.

Больше вычислений ситуацию не спасает. GLM-5.2 на небольших правках тратит почти в шесть раз больше токенов, чем GPT-6 Astra, и все равно заметно проигрывает. А сам лидер полностью справляется лишь с 41% мультимодальных задач и чуть менее чем с 18% задач на уровне репозитория.

Оболочка влияет не меньше модели

Отдельный эксперимент касается harness, то есть программы, через которую агент читает, пишет и запускает код. Одна и та же Qwen3.8-27B на крупных переработках набрала 75% в одной среде и всего 56% в другой. От среды зависело и то, какая из двух моделей окажется впереди.

Вывод авторов: в рейтингах нужно указывать модель и рабочую среду вместе. Компании, которая выбирает кодового агента, имеет смысл тестировать связку целиком, а не ориентироваться на таблицу с одним названием модели.

Ограничения теста

На каждую задачу приходится один зафиксированный запрос. Уточняющих вопросов и поправок пользователя по ходу работы в бенчмарке нет, а в жизни именно так и работают с агентами. Оценка опирается на ИИ-судей, поэтому и ее качество зависит от того, насколько хорошо они ловят недоделки.

Для практики вывод простой: цифры вроде 99% на старых бенчмарках почти ничего не говорят о том, сколько ручной работы останется после агента. Три четверти задач из реального потока Co-Design Bench требуют человеческой доработки даже у сильнейшей модели.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения