METR: модели Anthropic улучшаются вдвое быстрее, чем год назад

Исследовательская организация по безопасности ИИ METR опубликовала в четверг отчет об 11-недельной проверке внутри Anthropic. Главный вывод: модели компании улучшаются примерно вдвое быстрее, чем год назад, и признаков замедления нет. Об этом пишет The Verge.
Что нашла METR
По результатам бенчмарков, за последний год Anthropic прошла путь, на который раньше уходило около двух лет. METR отдельно подчеркивает, что уверена: ускорение нельзя объяснить одним лишь ростом вычислительных мощностей, которые идут на обучение моделей, хотя исторически они были одним из главных факторов прогресса ИИ. По оценке организации, большая часть ускорения на октябрь "связана с ИИ", причем его вклад со временем растет.
Доказательства частично косвенные. Это опросы сотрудников в Slack и интервью. По их итогам, сотрудники, работающие с самой сильной внутренней моделью, в среднем оценивают свою продуктивность примерно в 12 раз выше, чем без ИИ. Несколькими месяцами ранее, при работе с Mythos 5, цифра была вдвое меньше. Это самооценка, а не измерение, и к числу 12 нужно относиться именно так.
Помощник пока важнее самостоятельного исполнителя
Сейчас ускорение в основном идет от того, что ИИ помогает исследователям-людям, а не работает сам. Но METR предупреждает: есть признаки, что полностью автономный вклад скоро станет заметнее. Упоров, которые мешали бы ускоряться дальше, и убывающей отдачи организация не обнаружила.
По данным The Verge, значительная часть прироста продуктивности связана с неопубликованными внутренними моделями. То есть сотрудники Anthropic работают с более сильными системами, чем те, что доступны пользователям.
Что осталось за скобками
По условиям соглашения с METR, Anthropic могла вычеркивать части итогового отчета. По описанию The Verge, компания пользовалась этим правом активно. Поэтому вопрос о том, насколько точно публика знает о темпах и рисках разработки передовых моделей, остается открытым: мы видим только то, что компания согласилась оставить.
Проверка не связана с программой, которая после громких хакерских инцидентов лета дает исследователям безопасности доступ к системам "как у сотрудников".
Почему это важно
Ситуация выглядит противоречиво. Генеральный директор Anthropic Дарио Амодеи публично призывал лаборатории притормозить разработку ИИ, а его компания, судя по отчету, ускоряется с помощью собственных моделей. При этом Anthropic готовится к выходу на биржу, и любые данные о темпах развития и открытости станут частью разговора с инвесторами.
Для индустрии это одно из самых наглядных на сегодня свидетельств того, что эффект "ИИ строит ИИ" подкреплен хоть какими-то цифрами. Но выводы опираются на отчет с купюрами и на самооценки сотрудников. Независимо проверить их пока нельзя, и это главное ограничение всей картины.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.