Cloudflare разделил ИИ-ботов на три класса: конец эпохи тотальной блокировки

Представьте, что у вас на входе в дом стоит один охранник с одним правилом: либо пускать всех, либо не пускать никого. Именно так до недавнего времени работала защита от ИИ-ботов у Cloudflare. Один тумблер — и весь трафик от ИИ-краулеров либо проходит, либо нет. Теперь эта логика меняется кардинально, и я считаю, что это одно из самых важных инфраструктурных решений в вопросе авторских прав на данные за последние два года.

Три категории вместо одной кнопки

Cloudflare разбил всех ИИ-ботов на три принципиально разные группы. Search — это классические поисковые краулеры, которые индексируют страницы и дают на них ссылки. Training — боты, которые собирают данные для обучения языковых моделей и прочих ИИ-систем. Agent — новый и стремительно растущий класс: боты, действующие от имени пользователей, как, например, браузерный агент ChatGPT.

Это разграничение не просто косметическое. Поисковый бот приводит вам трафик — он партнёр. Обучающий бот берёт ваш контент и «переваривает» его в веса нейросети — он потребитель без оплаты. Агентный бот может вообще полностью заменить визит живого пользователя, выполнив задачу вместо него. Три совершенно разные экономические модели, и наконец-то с ними можно работать раздельно.

Дата, которую стоит запомнить: 15 сентября 2026

С 15 сентября 2026 года Cloudflare автоматически заблокирует Training и Agent ботов на всех страницах, несущих рекламу. Логика железная: если на странице есть реклама, значит владелец рассчитывает на живых людей как аудиторию. ИИ-агент, «читающий» страницу вместо пользователя, — это прямой удар по рекламной монетизации.

Поисковые краулеры при этом продолжат работать — Cloudflare понимает, что отрезать сайты от поисковой выдачи никто не хочет. А вот для многоцелевых ботов вроде Googlebot, который одновременно индексирует и обучает ИИ, введено правило строгости: применяется наиболее жёсткое из действующих ограничений. Это прямой ответ на критику CEO Cloudflare Мэтью Принса в адрес Google, который ещё в прошлом году публично возмущался тем, что компания смешивает поисковый и ИИ-краулеры в одном боте.

BotBase: база данных для параноиков и профессионалов

Для корпоративных клиентов Cloudflare запускает BotBase — поисковую базу всех известных ботов прямо в дашборде. Там можно посмотреть, как классифицирован каждый конкретный бот и что именно он делает с контентом: просто ставит ссылку или воспроизводит текст целиком.

Это меняет правила игры для медиа, издательств и любого контентного бизнеса. Раньше владелец сайта мог только догадываться, кто именно ходит по его страницам из ИИ-экосистемы. Теперь — конкретные имена, классификации и поведение. Я бы назвал это «паспортной системой для ботов».

Параллельно меняется и концепция «верифицированных ботов». Раньше статус Verified автоматически открывал двери — что, честно говоря, всегда казалось мне наивной системой доверия. Теперь верификация — необходимое, но не достаточное условие. Бот должен не только честно представляться, но и не злоупотреблять полученным доступом. Операторы ботов обязаны будут доказать соответствие заявленной цели реальному поведению.

Контекст: боты уже обогнали людей

В июне 2026 года Принс зафиксировал исторический момент: впервые в истории интернета бот-трафик превысил человеческий. Он ожидал этого к концу 2027-го, но реальность обогнала прогноз на полтора года. Это не просто статистика — это сигнал о том, что веб-инфраструктура проектировалась для одной реальности, а живёт уже в совершенно другой.

На этом фоне шаг Cloudflare выглядит не как бизнес-фича, а как попытка создать новый общественный договор между владельцами контента и ИИ-компаниями. Причём Cloudflare занимает уникальную позицию: через их сеть проходит трафик для значительной части интернета, и любое их решение де-факто становится стандартом.

Что это значит для разных аудиторий

Для владельцев сайтов и медиа — наконец-то появился инструмент, который позволяет не рубить с плеча. Можно разрешить Google индексировать страницы, но запретить его ИИ-краулеру обучаться на вашем контенте. Или открыть агентным ботам доступ к публичным страницам, но закрыть к платному контенту. Гибкость, которой не хватало с самого начала ИИ-бума.

Для разработчиков ИИ-агентов — новые правила ужесточают требования к идентификации. Если ваш агент не честно представляется и не ведёт себя в соответствии с заявленной ролью, Cloudflare будет его блокировать. Это создаёт давление в сторону большей прозрачности в экосистеме агентов — что, по-моему, давно назрело.

Для российских пользователей: Cloudflare работает в России, новые настройки доступны через стандартный дашборд без VPN. Все функции, включая BotBase, доступны на бесплатном тарифе — это редкость для подобного уровня инструментов.

Мой взгляд

Cloudflare делает то, что давно должны были сделать сами ИИ-компании — создаёт прозрачную систему разграничения намерений. То, что Google до сих пор смешивает поисковый и обучающий краулеры в Googlebot, — это не техническая необходимость, а политический выбор. И то, что теперь Cloudflare будет применять к такому боту наиболее жёсткие правила, — прямое давление на Google с требованием навести порядок.

Вопрос в том, как быстро ИИ-компании адаптируются. Крупные игроки вроде OpenAI и Anthropic уже имеют отдельные краулеры для разных задач — они в выигрыше. Стартапы, которые экономят на инфраструктуре и пускают один бот делать всё сразу, столкнутся с проблемами. Что ж, это и есть правильный рыночный сигнал.