ИИ уверенно решает задачи без решения: новый бенчмарк SOOHAK

Когда уверенность хуже незнания

Есть такой тип студентов на экзамене: они не знают ответа, но пишут что-то с таким апломбом, что преподаватель почти верит. Оказывается, современные языковые модели - именно такие студенты. Новый математический бенчмарк SOOHAK поймал их на горячем: когда задача не имеет решения, модели не останавливаются - они продолжают уверенно выдавать числа.

Это не просто академическая проблема. Это сигнал о фундаментальном изъяне в том, как нынешние системы понимают (или не понимают) границы собственной компетентности.

Что такое SOOHAK и почему это серьезно

Бенчмарк разработан совместными усилиями Carnegie Mellon University, EleutherAI и Seoul National University - и уже сам процесс создания заслуживает уважения. 64 математика: 38 профессоров, 25 аспирантов и постдоков, пятеро медалистов IMO. Все 439 задач написаны с нуля - никаких учебников, никаких олимпийских сборников. Каждый участник подтверждал, что не использовал ИИ при составлении. Тех, кто нарушил правило, выгоняли из проекта.

В эпоху, когда большинство бенчмарков уже давно просочились в обучающие данные, такой подход - почти революционный. Загрязнение тестовых данных - бич всей индустрии, и SOOHAK сделал все возможное, чтобы его избежать.

Датасет делится на две части. Challenge - 340 задач уровня аспирантуры и передовых исследований. Refusal - 99 задач, намеренно содержащих противоречия или недостаточные условия. За вторую часть модель получает баллы только если обнаруживает и называет конкретный изъян - а не выдает "ответ".

Лидеры и аутсайдеры: цифры говорят сами за себя

На исследовательском уровне расклад такой: Gemini 3 Pro - 30%, GPT-5 - около 26%, Claude Opus 4.5 - всего 10%. Открытые модели - Kimi-2.5, Qwen3-235B, GPT-OSS-120B - держатся ниже 15%. 124 задачи из Challenge не решила ни одна модель вообще.

Для контекста: на более легком SOOHAK-Mini (олимпиадный и ранний университетский уровень) модели показывают себя вполне прилично и кучкуются близко друг к другу. Разрыв открывается именно на исследовательском уровне - и для открытых моделей он особенно болезненный. Авторы объясняют это тем, что открытые системы хуже обобщают на материал, которого не видели в обучении, особенно в узких научных нишах.

Но главная история - не про Challenge, а про Refusal.

Провал на "ложных" задачах

Ни одна модель не преодолела 50% на наборе с неразрешимыми задачами. Лучший результат показал открытый GLM-5 - чуть меньше 50%, обойдя и GPT-5, и Gemini 3 Pro. А семейство Qwen3 буквально рухнуло - меньше 3%: модели почти никогда не распознают сломанную задачу и продолжают "решать".

Это поразительно. Qwen3-235B - серьезная модель с огромными вычислительными возможностями. Но она, судя по всему, натренирована на то, чтобы всегда давать ответ. Отказ от решения - это не то поведение, которое оптимизировалось при обучении.

Авторы бенчмарка прямо пишут: распознавание некорректных задач - "новая цель оптимизации, которую текущие модели напрямую не решают". Это важное признание. Мы годами оптимизировали модели на правильные ответы - и получили системы, которые не умеют говорить "задача поставлена неверно".

Масштаб не помогает - это критично

Самое тревожное наблюдение SOOHAK: увеличение вычислительных ресурсов и размера модели улучшает результаты на Challenge почти линейно, но не дает никакого сопоставимого прироста на Refusal. Больше параметров - лучше решаешь задачи. Но не лучше признаешь, что задача не имеет смысла.

Это разрушает надежду на то, что проблему можно просто "заскейлить". Нет, нельзя. Здесь нужно что-то принципиально другое - возможно, специальное обучение на примерах отказа, возможно, новые архитектурные решения для метакогниции.

Человек vs машина: один момент торжества

Для сравнения авторы привлекли 25 человек - от медалистов IMO до математиков с PhD. На выборке из 79 задач люди в совокупности решили 51%. И только Gemini 3 Pro превзошел этот результат - 61% на том же наборе. Это, конечно, впечатляет. Но не забывайте: речь о совокупном покрытии разных групп, а не об одном человеке. Один медалист IMO в одиночку таких цифр не даст.

Что это значит на практике

Для разработчиков - сигнал тревоги. Если вы встраиваете языковую модель в любую систему, где возможны некорректные входные данные (а это почти любая реальная система), вы должны знать: модель, скорее всего, не скажет вам "что-то здесь не так". Она придумает ответ.

Для бизнеса - повод пересмотреть доверие к математическим и аналитическим агентам. Автоматизированные финансовые расчеты, научные пайплайны, инженерные симуляции - везде, где задача может быть сформулирована с ошибкой, модель будет уверенно идти не туда.

Для российских пользователей: Gemini 3 Pro в России по-прежнему требует VPN и недоступен напрямую через российские карты. GPT-5 - аналогичная история. Открытые модели вроде Qwen3 и GLM-5 доступны через Hugging Face или локальный деплой без ограничений, что делает GLM-5 с его неожиданно высоким результатом на Refusal особенно интересным вариантом для тех, кто работает с ненадежными входными данными.

Итог: у нас нет ИИ, который умеет сомневаться

SOOHAK - не просто очередной бенчмарк в длинном списке. Это диагноз. Мы создали системы, которые умеют решать олимпийские задачи, но не умеют сказать "подождите, эта задача не имеет смысла". Уверенность без понимания границ - это не интеллект. Это имитация интеллекта, которая в критический момент подведет.

Следующий фронтир - не более высокий процент на Challenge. Это научить модели честно говорить "не знаю" и "задача некорректна". Пока ни одна из них это не умеет по-настоящему.