Anthropic
ИИ-чатAnthropicFlashProveкриптографияверификация моделейopen source

Anthropic разрабатывает открытую систему, которая доказывает, какая модель ИИ дала ответ

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Anthropic разрабатывает открытую систему, которая доказывает, какая модель ИИ дала ответ

Anthropic 3 ноября опубликовала в блоге описание FlashProve - открытой системы, которая должна криптографически подтверждать, что ответ выдала конкретная модель. Исследователи называют это "доказуемым выводом" (provable inference). Спецификация и рабочий код для отдельных частей системы лежат на GitHub под открытой лицензией.

Что обещает система

Аналогия из самого анонса - подпись в электронном письме. Получатель проверяет, что сообщение отправил именно тот, кто указан в поле отправителя. Здесь вместо письма ответ нейросети, а вместо отправителя - модель. Пользователь должен убедиться, что ответ пришел от той модели, которой он, как ему кажется, пользуется. Защита должна работать даже против подмены со стороны самой лаборатории, которая модель обучила и запускает.

Авторы называют два сценария. В первом компания втихую подставляет более дешевую модель, чтобы снизить расходы. Во втором, наоборот, более дорогую, чтобы раздуть результаты на тестах. Есть и третий случай, вне самих лабораторий: разработчик заявляет, что его библиотеку проверила на уязвимости передовая модель, а компания утверждает, что бизнес-план одобрила подходящая нейросеть. Как пользователю проверить такие заявления, авторы спрашивают прямо.

Как это устроено

Чтобы система работала, лаборатории должны публиковать "отпечаток" каждой выпускаемой модели. Позже к нему можно привязать конкретный ответ и проверить соответствие криптографически. То есть система подтверждает ответ только той модели, чей отпечаток опубликован заранее. Отпечаток не раскрывает веса модели, то есть внутренние числа, определяющие ее поведение. Закрытые модели, как у Anthropic и OpenAI, держат их в секрете, поэтому лаборатории могут публиковать отпечатки, ничего не отдавая, и схема подходит и для коммерческих моделей. Проверка задумана легкой, чтобы выполнять ее на локальном устройстве.

Что пока не готово

Авторы прямо пишут, что это промежуточный результат, а не завершенная программа исследований. Планов внедрять FlashProve в Anthropic или в других лабораториях нет. Расчет другой: чтобы другие исследователи взяли наработки и довели их до ума.

Остается вопрос, захотят ли лаборатории публиковать отпечатки. Система требует, чтобы это делали те, кого пользователи хотят проверять. По моему мнению, для провайдеров, которые соревнуются в ценах и результатах, это будет добровольное самоограничение. Пока Anthropic выступает с этой работой как исследователь.

Разработчикам, которые строят продукты поверх чужих API, идея может пригодиться: сейчас подтвердить, что за запросом стоит заявленная модель, можно только на доверии. Насколько FlashProve выдержит нагрузку реальных сервисов, станет понятно, когда его начнут проверять и дорабатывать сторонние команды.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения