Anthropic
ИИ-чатAnthropicOpenAIGoogleMicrosoftrobots.txtИИ-скрапинг

OpenAI, Google, Microsoft и Anthropic заявили о поддержке единого сигнала отказа от ИИ-скрапинга

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
OpenAI, Google, Microsoft и Anthropic заявили о поддержке единого сигнала отказа от ИИ-скрапинга

OpenAI, Google, Microsoft и Anthropic объявили о поддержке единого сигнала, с помощью которого сайты смогут обозначить свои предпочтения по использованию контента для обучения ИИ. Об этом пишет The Verge со ссылкой на Search Engine Roundtable. Сигнал называется "policy token" и размещается в файле robots.txt. Одна настройка вместо отдельных для каждой компании.

Что предложили

Предложение внес Кевин Келли, технический руководитель по стандартам в Anthropic. Оно рассматривается в Инженерном совете интернета (IETF), где принимают базовые сетевые стандарты. Сейчас сайты должны сообщать о своих предпочтениях по обучению ИИ каждой компании отдельно: у OpenAI свой краулер, у Google свой, и так далее. Общий токен сводит это к одной метке.

По данным The Verge, OpenAI, Google, Microsoft и Anthropic говорят, что ограничат доступ своих ИИ-краулеров к сайту, если встретят токен. Как именно это будет работать технически, в материале не объясняется.

Кто и когда внедрит

Сроки у всех разные:

- Anthropic уже поддерживает сигнал; - Google и Microsoft планируют поддержку в следующем году; - OpenAI говорит о "ближайших месяцах", точной даты нет.

Meta участие не подтвердила. Глава коммуникаций Энди Стоун назвал общий сигнал "важным шагом" и сказал, что компания хочет работать с другими над стандартами и их внедрением. Будет ли Meta сама соблюдать токен, он не уточнил.

Детали Microsoft и Google

Microsoft обещает более тонкие настройки. Издатель сможет отдельно отказаться от обучения моделей и от grounding, то есть привязки ответов модели к проверенным источникам, которая снижает число галлюцинаций. Сайт при этом останется в выдаче Bing при любых настройках.

У Google похожие настройки уже есть. Сайты могут отдельно решать, попадать ли их материалы в ИИ-функции поиска и использоваться ли они для обучения, а видимость в поиске от этого не меняется.

Что это меняет

Издатели давно жалуются на поток ИИ-краулеров. Другие инициативы бьют по проблеме с иных сторон. Стандарт RSL (Really Simple Licensing) позволяет брать плату с краулеров, а Cloudflare по умолчанию блокирует ИИ-ботов. Новый токен проще: это способ сразу сообщить сразу нескольким компаниям о своих предпочтениях.

Ограничение очевидно. По моему мнению, главный вопрос в том, как именно компании будут выполнять обещание: robots.txt работает на добровольной основе и ничего не блокирует технически. Еще один вопрос - позиция тех, кто пока промолчал, начиная с Meta. В материале The Verge текст токена и его синтаксис не приводятся, а Google, Microsoft и OpenAI пока не начали поддержку, поэтому до внедрения владельцам сайтов остается прежний путь: правила для каждого бота отдельно.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения