AI-краулеры читают sitemap.xml — и это не про «сдать вручную»

Пришло уведомление от Google: в логах John Mueller’а AI-краулеры сами заходят в sitemap.xml и RSS. Проверил — это не про «забыл сдать вручную», а про то, что ИИ-обучение уже идёт по открытым файлам. И да, sitemap.xml по-прежнему нужен — даже если вы думаете, что «llms.txt» всё решит.

John Mueller подтвердил, что AI-краулеры Google (и, вероятно, других компаний) заходят в sitemap.xml и RSS-фиды, если они доступны. Не через консоль, не по запросу — просто в логах. Это значит, что если у вас sitemap.xml лежит в корне и не скрыт в robots.txt, ИИ-системы могут его найти. А вот если файл называется sitemap-custom.xml — шанс, что его увидят, почти нулевой.

Он же сказал, что llms.txt — это не замена sitemap. Это Markdown-файл, который Google не читает как XML. Никаких «сделай llms.txt — и ИИ начнёт индексировать» не будет. Даже SEO-инструменты его не понимают. Пока это просто попытка вписать что-то в логи, а не работающий механизм.

Ещё один момент: Search Console может показывать «Couldn’t fetch» даже у валидного sitemap. Причина — не в файле, а в нагрузке на сервер или в низком «спросе на краулинг». Google не будет тратить ресурсы на сайт, который не кажется ему важным. Это не ошибка — это сигнал, что контент не воспринимается как актуальный.