Cloudflare перестроил доступ ИИ-ботов — что это значит для сайтов

Коллеги поделились новостью про обновление Cloudflare — теперь ИИ-боты могут блокироваться по категориям, и это не просто настройка, а реальный сдвиг в доступе к контенту. Я сразу проверил, как это влияет на сайты, которые веду.

Cloudflare с 15 сентября перестроил управление доступом ИИ-ботов: теперь можно отдельно настраивать, кто может индексировать (Search), кто действует в реальном времени (Agent), и кто забирает данные для обучения (Training). Для последнего появился новый режим — Disallow AI Training, который явно запрещает сбор данных. Это касается всех сайтов, подключённых к Cloudflare, включая бесплатные. Старый переключатель Block AI Bots устарел — его заменили чёткими категориями.

На мой взгляд, важнее не то, что можно блокировать, а то, что теперь это делается не по «всё или ничего», а по сценариям. Сайт с рекламой может разрешить поисковым ботам, но заблокировать обучение — это защита от утечки контента. Но я не уверен, что всё так просто: в исследовании Seensure сдвиги в отказах были не только у обучающих ботов, но и у поисковых, хотя их не трогали. Возможно, система перестала различать поддельных и настоящих ботов — и это риск для тех, кто зависит от видимости в ИИ-поиске.

Считаю, что пока не стоит торопиться с настройкой. Слишком много непонятного в поведении ботов, особенно в логах. Лучше сначала посмотреть, что приходит в реальном трафике — а не полагаться на тесты с поддельными именами.