Блокировка ИИ-ботов: не просто техника, а стратегия
Попался разбор про то, как блокировать ИИ-боты — и оказалось, что это не просто техническая настройка, а часть стратегии. Я уже начал пересматривать подходы у своих клиентов.
О чём речь и почему это важно для сайта
Речь о том, как сайты могут быть «пойманы» ИИ-ботами — не для индексации, а для копирования контента. Это не просто про утечку текстов. Если боты лезут в сайт без разрешения, они нагружают сервер, тратят ресурсы, и даже могут скопировать уникальные материалы, которые вы потом не сможете использовать в продвижении.
Я считаю, что это важно не потому, что «всё умрёт», а потому, что поисковики и ИИ-ассистенты уже выбирают сайты по качеству. Если сайт не отвечает на запросы читателя, а только на запросы бота — он уходит в тень. А это значит, что и трафик, и доверие к бренду снижаются.
Как это устроено — что тут вообще происходит
Есть два способа блокировать ИИ-боты: через robots.txt и на уровне сервера. Первый — как вежливый знак: «не заходи». Второй — как замок: «не пройдёшь». robots.txt работает только на добросовестных ботах, а серверные методы — даже на тех, кто притворяется другим.
Важно понимать, что даже если вы запрещаете GPTBot в robots.txt, он может просто проигнорировать это. А вот WAF или CDN — видят, кто заходит, и блокируют. Это не просьба, это контроль.
Как понять, что это касается вашего сайта («как я это проверяю»)
Я смотрю на логи сервера — если в них много запросов от GPTBot, ClaudeBot, PerplexityBot — это сигнал. Особенно если они приходят с одного IP, в больших объёмах, без задержек. Это не пользователи, это боты.
Если у сайта нет разметки для ИИ-ассистентов — например, нет Open Graph, нет schema.org, нет llms.txt — это не просто «недоделка». Это значит, что сайт не готов к тому, как его будут использовать в будущем. ИИ-системы не любят «слепые» страницы.
Что с этим делать («что я делаю в таких случаях»)
Первым делом — не паниковать. Я не удаляю robots.txt, а добавляю туда запреты для известных ботов. Это не защита, но сигнал: «мы не хотим, чтобы вас тут копировали».
Затем — проверяю, есть ли доступ к CDN или WAF. Если есть — настраиваю блокировку на уровне. Если нет — начинаю с логов, чтобы понять, кто заходит, и как часто. На этом этапе не нужно всё сразу менять — но уже понятно, где уязвимость.
Что здесь даёт поддержка
На нашей поддержке мы сразу проверяем, есть ли в robots.txt правила для ИИ-бота, и если нет — добавляем. Потом смотрим, доступен ли CDN или WAF, и если да — настраиваем блокировку на уровне. Всё это делается без лишнего шума, без перезагрузки сайта.
Мы не просто блокируем ботов — мы проверяем, что сайт понятен ИИ-ассистентам. Потому что поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты. И это не про SEO — это про выживание в новой реальности.
работаем с 2002 года, более 100 клиентов по всему миру. У нас есть доступ к серверам, CDN и WAF у большинства клиентов. Мы не ждём, пока что-то сломается — мы смотрим, что будет, и делаем шаги заранее.
Приглашаем на бесплатный аудит сайта — проверим, как он выглядит для ИИ-ассистентов и ботов, и покажем, где можно улучшить.