robots.txt не защищает от ИИ — и это важно знать

Наткнулся на разбор о том, как владельцы сайтов думают, что блокируют ИИ через robots.txt — и почему это не работает. Оказалось, что всё обстоит иначе, чем казалось. Странно, но многие до сих пор верят, что одна строчка в файле защитит контент. А на деле — нет. Я уже начал пересматривать подходы у клиентов. И не просто так.

robots.txt — не стена, а указатель

Попался разбор, где Гари Ильес из Google чётко объяснил: robots.txt — это не защита от ИИ, а инструкция для краулеров. Он решает, заходить ли боту на страницу. А что будет с контентом после — это уже другая история. Я сразу понял, что многие, включая клиентов, годами строили защиту на ложной основе. Считали, что запретили — и всё. А на деле просто сказали «не заходи» — а ИИ всё равно мог собрать текст другим путём.

ИИ не читает файлы — он учится на всём

Ключевое — ИИ не зависит от robots.txt. Он не смотрит на файл, чтобы понять, можно ли брать контент. Он собирает данные через скрапинг, архивы, публичные источники, даже из старых версий. Даже если вы запретили GPTBot — это не остановит обучение. Более того, Google прямо сказал: блокировка краулинга не означает, что контент не попадёт в датасет. Это как закрыть дверь, но оставить окно открытым.

Как проверить, касается ли это вашего сайта

Я проверяю это первым делом. Смотрю, есть ли в robots.txt директивы Disallow для GPTBot, ClaudeBot, PerplexityBot. Если есть — это сигнал: владелец думал, что защищает. Но я знаю, что это не защита. Плюс проверяю, не закрыты ли эти краулеры вручную — в настройках хостинга, CDN, веб-сервера. Если да — значит, сайт уже «в тени», и это может мешать индексации. А ещё смотрю, нет ли в корне файла llms.txt — это уже сигнал, что сайт готов к ИИ-поиску.

Что я делаю, когда вижу такую ситуацию

Сначала убираю блокировку ИИ-краулеров из robots.txt. Это не защита, а мешает. Потом проверяю, есть ли в корне файл llms.txt — если нет, создаю. Добавляю Open Graph, Q&A-разметку, микроразметку schema.org. Главное — не скрываться, а быть понятным. Если сайт не блокирует ИИ, но при этом не размечен — это упущение. Я уже начал обновлять это у своих клиентов. Начинаю с резервной копии, потом — проверка, потом — внедрение.

Что здесь даёт поддержка

На нашей поддержке это закрывается заранее. Мы не просто проверяем файлы — мы смотрим, как сайт выглядит для ИИ. Если нет разметки, не отдаётся контент без JS, нет llms.txt — это не просто «замечание», это сигнал к действию. Мы не прятимся от ИИ, мы делаем сайт таким, чтобы его не заменили. Потому что поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты. Работаем с 2002 года, более 100 клиентов по всему миру. Аудит сайта — бесплатно.