robots.txt не блокирует ИИ-обучение — это важно знать

Попался разбор от Google: Gary Illyes объяснил, что robots.txt не блокирует обучение ИИ, если контент уже скачан. Это не «запретить ИИ» — это «не дать зайти».

Прочитал у Google, что robots.txt — это не про то, как использовать данные после скачивания, а только про доступ к страницам. То есть, если ИИ уже прошёл по сайту — его нельзя остановить через robots.txt. Можно только не пускать конкретного краулера, если он указан по user-agent. Например, Google-Extended — это не отдельный бот, а флаг, который говорит: «можно использовать этот контент для обучения Gemini». Другие ИИ могут игнорировать любые строки, которые не входят в стандарт: Allow, Disallow, User-Agent, Sitemap.

На мой взгляд, это не меняет ничего в работе с сайтами — но важно понимать, что «заблокировать ИИ» через robots.txt невозможно, если контент уже в системе. Попытки запретить через кастомные директивы вроде No-AI-Chicken-Training — это пустая трата времени. А вот правильно прописать Disallow для конкретных user-agent, которые не нужны — это реально. Особенно если у вас есть данные, которые не хотите видеть в моделях.

Уже начал проверять у клиентов: если в robots.txt есть какие-то нестандартные правила для ИИ-краулеров — удаляю. Если вдруг кто-то запрещает GPTBot или ClaudeBot — проверяю, зачем. И если это не по делу — убираю. Главное — не думать, что robots.txt — это «контроль над ИИ», а понимать, что это контроль над доступом. А доступ — это только на этапе сканирования. После — уже ничего не вернёшь.