Anthropic
Генерация кодаAnthropicClaudeформальная верификациябезопасность кодаTheorem

Claude формально верифицирует код и находит давние баги

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Claude формально верифицирует код и находит давние баги

Верификация программного обеспечения - одна из тех задач, где человеческий труд стоит астрономически дорого. Чтобы формально доказать корректность ядра операционной системы seL4, команда специалистов потратила 20 человеко-лет - при том что само ядро писали всего два года. Именно поэтому формальная верификация десятилетиями оставалась уделом авиационных систем Airbus и прочих сценариев, где цена ошибки - человеческие жизни. Anthropic решил проверить, что будет, если отдать эту работу Claude.

Что сделала команда

Anthropic совместно с партнером Theorem запустили эксперимент: Claude должен был не писать новый код, а доказать корректность уже существующего. Конкретно - взять программы из 123 опенсорсных библиотек проекта Google OSS-Fuzz, перевести краш-тесты в математические задачи, проанализировать скомпилированный машинный код на уровне RISC-V и сгенерировать формальные доказательства.

Результат: около 180 миллионов строк доказательного кода за несколько недель. Для проверки этих доказательств использовалась независимая система Rocq, которая верифицирует их автоматически - без участия человека-рецензента. Авторы называют процесс "полностью автономной" генерацией доказательств, хотя инструменты и формальные основания создавала команда Theorem.

То, что Claude доказывал, звучит конкретно: для ряда исполняемых артефактов из этих библиотек - 239 точек входа - гарантируется нормальное завершение без ошибок безопасности памяти и без нарушений утверждений, для любого входного файла менее 64 МБ, при условии однопоточного статически связанного бинарника с фиксированным бюджетом памяти на RISC-V с моделируемыми ответами ОС Linux.

Баги, которые прятались годами

Пока Claude строил доказательства, он регулярно натыкался на баги - и ему разрешили их исправлять. Сотни дефектов, которые обычное тестирование не замечало годами, всплыли в процессе. Многие из них проявляются только при нетипичных условиях: аномально большой входной файл, специфичная последовательность обращений к памяти.

Один пример особенно показателен: при верификации широко используемого PDF-ридера за одну неделю нашли столько уязвимостей, сколько обычно фиксируют за целый год. В другом проекте Claude обнаружил логическую ошибку, которая существовала больше десяти лет. Источник также отдельно упоминает, что верифицированные библиотеки выдержали триллионы тестовых запусков - то есть обычное тестирование такого масштаба эти ошибки не поймало.

Это принципиальный момент. Фаззинг и обычное тестирование исследуют пространство входных данных статистически - они находят то, до чего "доберутся". Формальная верификация утверждает: при таких-то условиях ошибки нет нигде. Именно это делает подход другим по природе, а не по масштабу.

Где границы метода

Anthropic честно перечисляет ограничения, и их немало. Доказательства действуют строго при фиксированных условиях: конкретная архитектура процессора (RISC-V), однопоточное выполнение, входные данные до 64 МБ. Реальные библиотеки работают на x86, ARM, в многопоточных средах, с произвольными данными. Формально верифицированный код - не синоним кода без багов.

Вычислительная стоимость тоже высокая: отдельные доказательства потребляют сотни миллионов токенов. Anthropic не раскрывает общий бюджет проекта, но масштаб затрат очевиден.

При этом есть обнадеживающий сигнал по эффективности: небольшой тест показал, что Opus 5.5 решает половину задач примерно на 40% дешевле по токенам, чем Opus 5. Если тренд продолжится, стоимость верификации будет падать вместе с каждым новым поколением моделей.

Почему это меняет расклад

Сейчас главный аргумент против ИИ-генерированного кода в критических системах - непредсказуемость. Модель может написать что-то, что работает на тестах и ломается в продакшене. Если та же модель способна не только написать код, но и математически доказать его корректность в заданных границах, аргумент теряет силу.

Для разработчиков это означает конкретное: меньше времени на ревью ИИ-кода, больше доверия к автоматизации. Для безопасности - принципиально иной инструмент рядом с фаззингом и статическим анализом. Для бизнеса - потенциальное снижение затрат на аудит безопасности.

Anthropic заявляет, что ожидает превращения формальной верификации с ИИ в стандартную практику разработки - примерно так же, как сегодня стандартом стали юнит-тесты. Theorem уже обозначил следующие цели: glibc и другие библиотеки критической инфраструктуры. Это серьезная заявка - именно эти компоненты лежат в основе большинства серверных систем.

Мне кажется, здесь интереснее всего не сам факт верификации, а побочный эффект: Claude нашел больше реальных багов за недели, чем годы автоматизированного тестирования. Это уже практическая ценность прямо сейчас, без ожидания, пока формальная верификация станет мейнстримом.

Для российских пользователей

Информация о доступности инструментов Theorem в РФ пока не публиковалась. Сам Claude доступен через VPN, прямые платежи картами российских банков не проходят. Исследование опубликовано в открытом доступе на сайте Anthropic, подмножество доказательств и семантика RISC-V выложены публично для проверки и повторного использования.

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения