Anthropic разрабатывает открытую систему, которая доказывает, какая модель ИИ дала ответ

Anthropic 3 ноября опубликовала в блоге описание FlashProve - открытой системы, которая должна криптографически подтверждать, что ответ выдала конкретная модель. Исследователи называют это "доказуемым выводом" (provable inference). Спецификация и рабочий код для отдельных частей системы лежат на GitHub под открытой лицензией.
Что обещает система
Аналогия из самого анонса - подпись в электронном письме. Получатель проверяет, что сообщение отправил именно тот, кто указан в поле отправителя. Здесь вместо письма ответ нейросети, а вместо отправителя - модель. Пользователь должен убедиться, что ответ пришел от той модели, которой он, как ему кажется, пользуется. Защита должна работать даже против подмены со стороны самой лаборатории, которая модель обучила и запускает.
Авторы называют два сценария. В первом компания втихую подставляет более дешевую модель, чтобы снизить расходы. Во втором, наоборот, более дорогую, чтобы раздуть результаты на тестах. Есть и третий случай, вне самих лабораторий: разработчик заявляет, что его библиотеку проверила на уязвимости передовая модель, а компания утверждает, что бизнес-план одобрила подходящая нейросеть. Как пользователю проверить такие заявления, авторы спрашивают прямо.
Как это устроено
Чтобы система работала, лаборатории должны публиковать "отпечаток" каждой выпускаемой модели. Позже к нему можно привязать конкретный ответ и проверить соответствие криптографически. То есть система подтверждает ответ только той модели, чей отпечаток опубликован заранее. Отпечаток не раскрывает веса модели, то есть внутренние числа, определяющие ее поведение. Закрытые модели, как у Anthropic и OpenAI, держат их в секрете, поэтому лаборатории могут публиковать отпечатки, ничего не отдавая, и схема подходит и для коммерческих моделей. Проверка задумана легкой, чтобы выполнять ее на локальном устройстве.
Что пока не готово
Авторы прямо пишут, что это промежуточный результат, а не завершенная программа исследований. Планов внедрять FlashProve в Anthropic или в других лабораториях нет. Расчет другой: чтобы другие исследователи взяли наработки и довели их до ума.
Остается вопрос, захотят ли лаборатории публиковать отпечатки. Система требует, чтобы это делали те, кого пользователи хотят проверять. По моему мнению, для провайдеров, которые соревнуются в ценах и результатах, это будет добровольное самоограничение. Пока Anthropic выступает с этой работой как исследователь.
Разработчикам, которые строят продукты поверх чужих API, идея может пригодиться: сейчас подтвердить, что за запросом стоит заявленная модель, можно только на доверии. Насколько FlashProve выдержит нагрузку реальных сервисов, станет понятно, когда его начнут проверять и дорабатывать сторонние команды.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.