OpenAI, Google, Microsoft и Anthropic заявили о поддержке единого сигнала отказа от ИИ-скрапинга

OpenAI, Google, Microsoft и Anthropic объявили о поддержке единого сигнала, с помощью которого сайты смогут обозначить свои предпочтения по использованию контента для обучения ИИ. Об этом пишет The Verge со ссылкой на Search Engine Roundtable. Сигнал называется "policy token" и размещается в файле robots.txt. Одна настройка вместо отдельных для каждой компании.
Что предложили
Предложение внес Кевин Келли, технический руководитель по стандартам в Anthropic. Оно рассматривается в Инженерном совете интернета (IETF), где принимают базовые сетевые стандарты. Сейчас сайты должны сообщать о своих предпочтениях по обучению ИИ каждой компании отдельно: у OpenAI свой краулер, у Google свой, и так далее. Общий токен сводит это к одной метке.
По данным The Verge, OpenAI, Google, Microsoft и Anthropic говорят, что ограничат доступ своих ИИ-краулеров к сайту, если встретят токен. Как именно это будет работать технически, в материале не объясняется.
Кто и когда внедрит
Сроки у всех разные:
- Anthropic уже поддерживает сигнал; - Google и Microsoft планируют поддержку в следующем году; - OpenAI говорит о "ближайших месяцах", точной даты нет.
Meta участие не подтвердила. Глава коммуникаций Энди Стоун назвал общий сигнал "важным шагом" и сказал, что компания хочет работать с другими над стандартами и их внедрением. Будет ли Meta сама соблюдать токен, он не уточнил.
Детали Microsoft и Google
Microsoft обещает более тонкие настройки. Издатель сможет отдельно отказаться от обучения моделей и от grounding, то есть привязки ответов модели к проверенным источникам, которая снижает число галлюцинаций. Сайт при этом останется в выдаче Bing при любых настройках.
У Google похожие настройки уже есть. Сайты могут отдельно решать, попадать ли их материалы в ИИ-функции поиска и использоваться ли они для обучения, а видимость в поиске от этого не меняется.
Что это меняет
Издатели давно жалуются на поток ИИ-краулеров. Другие инициативы бьют по проблеме с иных сторон. Стандарт RSL (Really Simple Licensing) позволяет брать плату с краулеров, а Cloudflare по умолчанию блокирует ИИ-ботов. Новый токен проще: это способ сразу сообщить сразу нескольким компаниям о своих предпочтениях.
Ограничение очевидно. По моему мнению, главный вопрос в том, как именно компании будут выполнять обещание: robots.txt работает на добровольной основе и ничего не блокирует технически. Еще один вопрос - позиция тех, кто пока промолчал, начиная с Meta. В материале The Verge текст токена и его синтаксис не приводятся, а Google, Microsoft и OpenAI пока не начали поддержку, поэтому до внедрения владельцам сайтов остается прежний путь: правила для каждого бота отдельно.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.