llms.txt: не запрет, а рекомендация

Лента принесла материал о том, как Common Crawl проанализировал 500 тысяч файлов llms.txt — и оказалось, что 68% из них пришли из шаблонов или плагинов. Многие просто копируют шаблон, даже если не понимают, зачем он нужен.

Коротко: llms.txt — это не запрет, а рекомендация для ИИ-краулеров. Он не блокирует и не разрешает доступ, как robots.txt. Но некоторые сайты его используют как будто это правила — даже указывают, что CCBot «заблокирован», хотя в robots.txt он разрешён. Это не работает, но создаёт ложное ощущение безопасности.

Считаю, что это не просто ошибка — это тревожный сигнал. Когда человек вставляет файл, не понимая его назначения, он рискует не только сбить настройки ИИ-индексации, но и создать ложную уверенность в защите. Особенно если сайт на CMS с автоматическими шаблонами.

У себя уже проверяю, где у клиентов лежит llms.txt. Если файл есть — смотрю, не противоречит ли он robots.txt. Если нет — не добавляю. Никаких «политик» без понимания, только чёткие правила в robots.txt, если нужно ограничить доступ. Это и есть работа.