Cloudflare разделил ИИ-ботов на три класса: конец эпохи тотальной блокировки

Представьте, что у вас на входе в дом стоит один охранник с одним правилом: либо пускать всех, либо не пускать никого. Именно так до недавнего времени работала защита от ИИ-ботов у Cloudflare. Один тумблер - и весь трафик от ИИ-краулеров либо проходит, либо нет. Теперь эта логика меняется кардинально, и я считаю, что это одно из самых важных инфраструктурных решений в вопросе авторских прав на данные за последние два года.

Три категории вместо одной кнопки

Cloudflare разбил всех ИИ-ботов на три принципиально разные группы. Search - это классические поисковые краулеры, которые индексируют страницы и дают на них ссылки. Training - боты, которые собирают данные для обучения языковых моделей и прочих ИИ-систем. Agent - новый и стремительно растущий класс: боты, действующие от имени пользователей, как, например, браузерный агент ChatGPT.

Это разграничение не просто косметическое. Поисковый бот приводит вам трафик - он партнер. Обучающий бот берет ваш контент и "переваривает" его в веса нейросети - он потребитель без оплаты. Агентный бот может вообще полностью заменить визит живого пользователя, выполнив задачу вместо него. Три совершенно разные экономические модели, и наконец-то с ними можно работать раздельно.

Дата, которую стоит запомнить: 15 сентября 2026

С 15 сентября 2026 года для новых доменов, подключаемых к Cloudflare, Training и Agent боты будут заблокированы по умолчанию на страницах, несущих рекламу. Логика железная: если на странице есть реклама, значит владелец рассчитывает на живых людей как аудиторию. ИИ-агент, "читающий" страницу вместо пользователя, - это прямой удар по рекламной монетизации.

Поисковые краулеры при этом продолжат работать - Cloudflare понимает, что отрезать сайты от поисковой выдачи никто не хочет. А вот для многоцелевых ботов вроде Googlebot, который одновременно индексирует и обучает ИИ, введено правило строгости: применяется наиболее жесткое из действующих ограничений. Это прямой ответ на критику CEO Cloudflare Мэтью Принса в адрес Google, который еще в прошлом году публично возмущался тем, что компания смешивает поисковый и ИИ-краулеры в одном боте.

BotBase: база данных для параноиков и профессионалов

Для корпоративных клиентов с тарифом Enterprise Bot Management Cloudflare запускает BotBase - поисковую базу всех известных ботов прямо в дашборде. Там можно посмотреть, как классифицирован каждый конкретный бот и что именно он делает с контентом: просто ставит ссылку или воспроизводит текст целиком.

Это меняет правила игры для медиа, издательств и любого контентного бизнеса. Раньше владелец сайта мог только догадываться, кто именно ходит по его страницам из ИИ-экосистемы. Теперь - конкретные имена, классификации и поведение. Я бы назвал это "паспортной системой для ботов".

Параллельно меняется и концепция "верифицированных ботов". Раньше статус Verified автоматически открывал двери - что всегда казалось мне наивной системой доверия. Теперь верификация - необходимое, но не достаточное условие. Бот должен не только честно представляться, но и не злоупотреблять полученным доступом. Операторы ботов обязаны будут доказать соответствие заявленной цели реальному поведению.

Контекст: боты уже обогнали людей

В июне 2026 года Принс зафиксировал исторический момент: впервые в истории интернета бот-трафик превысил человеческий. Он ожидал этого к концу 2027-го, но реальность обогнала прогноз на полтора года. Это не просто статистика - это сигнал о том, что веб-инфраструктура проектировалась для одной реальности, а живет уже в совершенно другой.

На этом фоне шаг Cloudflare выглядит не как бизнес-фича, а как попытка создать новый общественный договор между владельцами контента и ИИ-компаниями. Причем Cloudflare занимает уникальную позицию: через их сеть проходит трафик для значительной части интернета, и любое их решение де-факто становится стандартом.

Что это значит для разных аудиторий

Для владельцев сайтов и медиа - наконец-то появился инструмент, который позволяет не рубить с плеча. Например, можно заблокировать многоцелевой краулер, совмещающий поиск и обучение, через настройку запрета Training - Cloudflare применит наиболее жесткое из правил. Или открыть агентным ботам доступ к публичным страницам, но закрыть к платному контенту. Гибкость, которой не хватало с самого начала ИИ-бума.

Для разработчиков ИИ-агентов - новые правила ужесточают требования к идентификации. Если ваш агент не честно представляется и не ведет себя в соответствии с заявленной ролью, Cloudflare будет его блокировать. Это создает давление в сторону большей прозрачности в экосистеме агентов - что, по-моему, давно назрело.

Новые независимые настройки Search, Training и Agent доступны на бесплатном тарифе - это редкость для подобного уровня инструментов. BotBase с детальной классификацией каждого бота - только для Enterprise Bot Management.

Мой взгляд

Cloudflare делает то, что давно должны были сделать сами ИИ-компании - создает прозрачную систему разграничения намерений. То, что Google до сих пор смешивает поисковый и обучающий краулеры в Googlebot, - это не техническая необходимость, а политический выбор. И то, что теперь Cloudflare будет применять к такому боту наиболее жесткие правила, - прямое давление на Google с требованием навести порядок.

Вопрос в том, как быстро ИИ-компании адаптируются. Крупные игроки вроде OpenAI и Anthropic уже имеют отдельные краулеры для разных задач - они в выигрыше. Стартапы, которые экономят на инфраструктуре и пускают один бот делать все сразу, столкнутся с проблемами. Что ж, это и есть правильный рыночный сигнал.