Claude формально верифицирует код и находит давние баги

Верификация программного обеспечения - одна из тех задач, где человеческий труд стоит астрономически дорого. Чтобы формально доказать корректность ядра операционной системы seL4, команда специалистов потратила 20 человеко-лет - при том что само ядро писали всего два года. Именно поэтому формальная верификация десятилетиями оставалась уделом авиационных систем Airbus и прочих сценариев, где цена ошибки - человеческие жизни. Anthropic решил проверить, что будет, если отдать эту работу Claude.
Что сделала команда
Anthropic совместно с партнером Theorem запустили эксперимент: Claude должен был не писать новый код, а доказать корректность уже существующего. Конкретно - взять программы из 123 опенсорсных библиотек проекта Google OSS-Fuzz, перевести краш-тесты в математические задачи, проанализировать скомпилированный машинный код на уровне RISC-V и сгенерировать формальные доказательства.
Результат: около 180 миллионов строк доказательного кода за несколько недель. Для проверки этих доказательств использовалась независимая система Rocq, которая верифицирует их автоматически - без участия человека-рецензента. Авторы называют процесс "полностью автономной" генерацией доказательств, хотя инструменты и формальные основания создавала команда Theorem.
То, что Claude доказывал, звучит конкретно: для ряда исполняемых артефактов из этих библиотек - 239 точек входа - гарантируется нормальное завершение без ошибок безопасности памяти и без нарушений утверждений, для любого входного файла менее 64 МБ, при условии однопоточного статически связанного бинарника с фиксированным бюджетом памяти на RISC-V с моделируемыми ответами ОС Linux.
Баги, которые прятались годами
Пока Claude строил доказательства, он регулярно натыкался на баги - и ему разрешили их исправлять. Сотни дефектов, которые обычное тестирование не замечало годами, всплыли в процессе. Многие из них проявляются только при нетипичных условиях: аномально большой входной файл, специфичная последовательность обращений к памяти.
Один пример особенно показателен: при верификации широко используемого PDF-ридера за одну неделю нашли столько уязвимостей, сколько обычно фиксируют за целый год. В другом проекте Claude обнаружил логическую ошибку, которая существовала больше десяти лет. Источник также отдельно упоминает, что верифицированные библиотеки выдержали триллионы тестовых запусков - то есть обычное тестирование такого масштаба эти ошибки не поймало.
Это принципиальный момент. Фаззинг и обычное тестирование исследуют пространство входных данных статистически - они находят то, до чего "доберутся". Формальная верификация утверждает: при таких-то условиях ошибки нет нигде. Именно это делает подход другим по природе, а не по масштабу.
Где границы метода
Anthropic честно перечисляет ограничения, и их немало. Доказательства действуют строго при фиксированных условиях: конкретная архитектура процессора (RISC-V), однопоточное выполнение, входные данные до 64 МБ. Реальные библиотеки работают на x86, ARM, в многопоточных средах, с произвольными данными. Формально верифицированный код - не синоним кода без багов.
Вычислительная стоимость тоже высокая: отдельные доказательства потребляют сотни миллионов токенов. Anthropic не раскрывает общий бюджет проекта, но масштаб затрат очевиден.
При этом есть обнадеживающий сигнал по эффективности: небольшой тест показал, что Opus 5.5 решает половину задач примерно на 40% дешевле по токенам, чем Opus 5. Если тренд продолжится, стоимость верификации будет падать вместе с каждым новым поколением моделей.
Почему это меняет расклад
Сейчас главный аргумент против ИИ-генерированного кода в критических системах - непредсказуемость. Модель может написать что-то, что работает на тестах и ломается в продакшене. Если та же модель способна не только написать код, но и математически доказать его корректность в заданных границах, аргумент теряет силу.
Для разработчиков это означает конкретное: меньше времени на ревью ИИ-кода, больше доверия к автоматизации. Для безопасности - принципиально иной инструмент рядом с фаззингом и статическим анализом. Для бизнеса - потенциальное снижение затрат на аудит безопасности.
Anthropic заявляет, что ожидает превращения формальной верификации с ИИ в стандартную практику разработки - примерно так же, как сегодня стандартом стали юнит-тесты. Theorem уже обозначил следующие цели: glibc и другие библиотеки критической инфраструктуры. Это серьезная заявка - именно эти компоненты лежат в основе большинства серверных систем.
Мне кажется, здесь интереснее всего не сам факт верификации, а побочный эффект: Claude нашел больше реальных багов за недели, чем годы автоматизированного тестирования. Это уже практическая ценность прямо сейчас, без ожидания, пока формальная верификация станет мейнстримом.
Для российских пользователей
Информация о доступности инструментов Theorem в РФ пока не публиковалась. Сам Claude доступен через VPN, прямые платежи картами российских банков не проходят. Исследование опубликовано в открытом доступе на сайте Anthropic, подмножество доказательств и семантика RISC-V выложены публично для проверки и повторного использования.
Источники
Похожие новости
Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов
Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.
llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование
Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.
Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц
Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.