Отец обучения с подкреплением основал Oak Lab против «слабого» ИИ

Когда папа RL говорит, что всё идёт не так

Представьте: человек, который заложил математические основы обучения с подкреплением, смотрит на современный ИИ-бум и говорит — «вы всё делаете неправильно». Именно это и произошло. Ричард Саттон, лауреат премии Тьюринга 2024 года и один из архитекторов современного RL, объявил о запуске стартапа Oak Lab в Торонто. И это не очередной «мы делаем LLM лучше» — это принципиальный разрыв с господствующей парадигмой.

Саттон основал компанию вместе с Хуррамом Джавидом. Оба до этого работали в Keen Technologies — ИИ-стартапе Джона Кармака, легенды игровой индустрии, который тоже делает ставку на фундаментально иной подход к интеллекту. Совпадение? Скорее, закономерность: люди, которые думают о долгосрочных архитектурах, а не о квартальных бенчмарках, тяготеют друг к другу.

Что именно не так с современным ИИ — по Саттону

Саттон не стесняется в выражениях. Нынешние методы глубокого обучения он называет «слабыми и неэффективными» и утверждает, что они требуют не доработок, а фундаментального переосмысления. Это сильное заявление от человека, который сам стоял у истоков нейросетевой революции.

Ещё в июне он сформулировал ключевую претензию к генеративному ИИ: эти системы хороши в имитации, но не способны оценивать собственные выходные данные. Грубо говоря, GPT-4o или Claude может написать убедительный текст, но не знает, правда ли то, что он написал — он лишь воспроизводит статистические паттерны из обучающей выборки. Открытий такой подход не даёт по определению.

Это не новая критика — её высказывали многие, включая Яна Лекуна. Но от Саттона она звучит особенно весомо, потому что он предлагает конкретную альтернативу, а не просто философствует.

Что строит Oak Lab

Центральная идея Oak Lab — агенты, которые учатся непрерывно в процессе работы, а не один раз на статическом датасете. Это принципиально другая архитектура мышления о системах ИИ.

Вместо огромного предобученного монолита Саттон хочет создать агентов, которые: - Строят внутренние модели мира на основе опыта - Самостоятельно генерируют гипотезы и проверяют их - Управляют вариативностью, оценкой и отбором без внешней разметки

Это классический reinforcement learning, доведённый до логического предела. Не RLHF поверх LLM (как у OpenAI), а RL как основная парадигма с нуля.

Долгосрочная цель звучит почти фантастически: агент с триллионом параметров, способный учиться и планировать в реальном времени, потребляя всего 20 ватт энергии. Для сравнения — обучение GPT-4 потребовало десятки мегаватт. Если Саттон хотя бы приблизится к этому показателю, это будет революция эффективности.

Почему это важно прямо сейчас

Мы живём в странный момент: индустрия вложила сотни миллиардов долларов в архитектуру трансформеров и масштабирование. Scaling laws работают — но всё медленнее. GPT-4 → GPT-4o → GPT-5 — каждый скачок требует больше ресурсов, а прирост становится менее драматичным.

Альтернативные подходы начинают получать серьёзное внимание. Лекун продвигает JEPA и предиктивные архитектуры в Meta. Хассабис в DeepMind делает ставку на нейросимволические системы и AlphaFold-подобные прорывы. Теперь Саттон открыто говорит, что масштабирование трансформеров — тупик для достижения «амбициозных целей ИИ».

Это не маргинальная позиция — это нарастающий консенсус среди людей, которые думают о следующем десятилетии, а не о следующем квартале.

Что это значит для разработчиков и бизнеса

Для большинства компаний, которые сегодня строят продукты на основе API OpenAI или Anthropic, Oak Lab — это история про послезавтра. Реальные результаты, если они появятся, придут через несколько лет.

Но для разработчиков, которые работают с RL-агентами, роботикой или системами реального времени — это сигнал. Reinforcement learning возвращается в центр дискуссии, уже не как вспомогательный инструмент для RLHF, а как самостоятельная парадигма.

Для российских разработчиков: Oak Lab пока что стартап без публичных продуктов и API. Следить за их публикациями можно без VPN — исследовательские работы выходят в открытом доступе. Когда появятся инструменты — скорее всего, через GitHub и arXiv, что доступно из РФ без ограничений.

Мой взгляд

Саттон — не стартапер в обычном смысле. Ему 67 лет, у него есть премия Тьюринга и учебник, по которому учится половина RL-сообщества планеты. Когда такой человек говорит «текущий путь ведёт не туда» и основывает компанию — это не хайп, это осознанная ставка.

Меня особенно цепляет формулировка про 20 ватт. Это мощность человеческого мозга. Саттон явно целится не в «лучший чатбот», а в принципиально иной класс систем — эффективных, автономных, способных к реальному открытию. Получится или нет — вопрос открытый. Но то, что кто-то с такими credentials делает эту ставку публично — само по себе событие для всей индустрии.