ChatGPT может найти ваш сайт — если вы не запретите

Прочитал в подборке за неделю, что OpenAI и Cloudflare протестировали систему, которая помогает ИИ-поиску находить новые страницы — даже если у них мало ссылок. Пилот затронул около 1% сети Cloudflare, и результаты показали, что теперь ИИ может обнаружить, например, меню ресторана или инструкцию по стирке, даже если они не ведут никуда.

Суть в том, что OpenAI теперь использует сигналы с Cloudflare — например, насколько свежа страница, какое у неё качество трафика, и изменилась ли она. Это помогает ИИ-краулеру не тратить время на пустые запросы, а находить полезный контент быстрее. Но самое важное: доступ к странице всё ещё зависит от robots.txt. Если вы запретите OAI-SearchBot — ваша страница не попадёт в результаты ChatGPT, даже если она полезная.

Считаю, что это меняет приоритеты: не просто «сделай robots.txt», а «подумай, кто и зачем может заходить». Теперь важно не только блокировать ботов, но и контролировать, кто и как получает доступ к вашему контенту. Особенно если вы ведёте сайт с информацией, которая может быть полезной, но не ведёт никуда.

Уже начал проверять у клиентов, где в robots.txt стоит Allow для OAI-SearchBot. У кого нет — добавляю, если контент действительно нужен. У кого есть — смотрю, не блокируют ли GPTBot, если не хотят, чтобы ИИ учили на их данных. Настроил AI Crawl Control у всех, кто использует Cloudflare. Пока не включаю автоматически — сначала проверяю, что не выдаётся в логах.