CEO-Bench: только 3 ИИ-модели не обанкротились за 500 дней

Когда ИИ садится в кресло CEO - и вылетает в трубу

Представьте: вы даете ИИ миллион долларов, воображаемую компанию и 500 дней, чтобы не разориться. Казалось бы, для систем, которые пишут код, решают математические задачи и ведут переговоры - задача выполнимая. Реальность оказалась жесткой: из всех протестированных моделей лишь три завершили симуляцию с положительным балансом. Остальные - банкроты. А победителем нередко выходила простая детерминированная эвристика без единой нейронной сети внутри.

Исследователи Принстонского университета разработали CEO-Bench - бенчмарк, который принципиально отличается от всего, что мы видели раньше. Никаких "реши задачу за один ход" и "ответь на вопрос по документу". Здесь агент управляет вымышленной SaaS-компанией NovaMind: стартовый капитал - $1 млн, клиентов - ноль, горизонт - 500 симулированных дней. Единственный критерий успеха - остаток на счете в конце. Ушел в минус хоть раз - игра окончена, банкротство.

Что именно нужно делать виртуальному CEO

Агент работает через Python API с 34 инструментами и базой данных из 19 таблиц. Он не просто отдает команды - он пишет собственный код, делает SQL-запросы, строит кастомные воркфлоу. Это принципиально важно: никакого "нажми кнопку", только полноценное программирование бизнес-логики.

На столе у виртуального CEO лежит все то же, что и у реального: ценообразование и тарифные планы, распределение рекламного бюджета по каналам, R&D и качество продукта, инфраструктурные мощности, поддержка клиентов, многораундовые переговоры с корпоративными клиентами. Плюс - симулированная социальная сеть, где можно читать жалобы пользователей, следить за конкурентами и публиковать собственные посты.

Звучит как нормальная работа. Но дьявол - в задержках и скрытых переменных. Расходы бьют сразу. Выручка приходит только в даты выставления счетов. R&D-проект может занять недели, а его провал проявится через отток клиентов еще позже. Удовлетворенность аудитории, готовность платить, минимальные ожидания по качеству - все это скрыто. Агент вынужден реконструировать реальность по косвенным сигналам: отменам подписок, тикетам в поддержку, активности в соцсети. При этом симуляция моделирует 26 сегментов клиентов с индивидуальными бюджетами, чувствительностью к цене и ожиданиями - и все это постоянно меняется.

Почему это принципиально другой класс задач

Авторы исследования апеллируют к знаменитому примеру: в 1997 году Apple была в 90 днях от банкротства. Стив Джобс нарисовал матрицу два на два - потребитель/профи, десктоп/портатив - и решил, что компания будет делать только четыре продукта. Из этого выросли iMac, iPod и iPhone. Это и есть "стратегический интеллект управления" - способность видеть всю систему целиком и принимать решения с долгосрочными последствиями в условиях неопределенности.

Современные ИИ-агенты великолепны в узких задачах: исправить баг, ответить по скрипту, выполнить веб-workflow. Там есть четкая цель, короткое действие, быстрая обратная связь. CEO-Bench устроен ровно наоборот. И именно поэтому результаты такие удручающие.

Я слежу за развитием ИИ-агентов уже несколько лет, и этот бенчмарк попал точно в больное место. Мы научили модели решать задачи - но не управлять системами. Это разные когнитивные режимы. Первый - как спринт, второй - как марафон с туманом на всей дистанции.

Три победителя и один неловкий факт

Конкретные названия трех "выживших" моделей исследователи раскрывают в полной версии работы, однако сам факт красноречив: из всего зоопарка современных флагманов - GPT-4o, Claude, Gemini, различных reasoning-моделей - большинство не справились с задачей, которую любой опытный менеджер продукта решил бы интуитивно.

Но самый болезненный момент - даже не это. Простая rule-based эвристика без ИИ обошла почти все языковые модели. Набор детерминированных правил вроде "если отток растет - снизь цену, если кэш падает - урежь расходы" - и все, этого хватило, чтобы переиграть нейросети стоимостью в миллиарды долларов. Это как проиграть шахматисту, который ходит по учебнику дебютов, не думая дальше третьего хода.

Для меня это сигнал: текущие архитектуры LLM плохо справляются с управлением состоянием на длинных горизонтах. Они "забывают" причинно-следственные цепочки, которые растянуты во времени. Принятое решение на день 50 аукнулось банкротством на день 300 - и модель не умеет удерживать эту связь.

Что это значит для индустрии

Для разработчиков агентных систем CEO-Bench - это зеркало. Все красивые демо с "автономными агентами, которые ведут бизнес" разбиваются о реальность долгосрочного планирования. Если вы строите продукт на основе LLM-агентов для задач с горизонтом больше нескольких часов - у вас проблема, которую пока никто не решил.

Для бизнеса сигнал такой же тревожный. Автоматизировать рутину - пожалуйста. Доверить агенту стратегическое управление ресурсами - пока рано. Не потому что ИИ "не умный", а потому что у него нет нужного типа интеллекта для этой задачи.

Для российской аудитории: сам бенчмарк - академический инструмент, доступный для изучения в открытых публикациях. Никаких VPN и зарубежных карт не нужно - читайте препринты на arXiv.

Princeton CEO-Bench - это не просто очередной тест. Это честный диагноз: мы построили блестящих тактиков и никудышных стратегов. Следующий рубеж ИИ - не скорость генерации токенов, а способность думать месяцами вперед в условиях неполной информации. Судя по результатам, до этого рубежа еще очень далеко.