llms.txt, robots.txt и ИИ-ассистенты: как сайт становится читаемым

Наткнулся на разбор о том, как сайты становятся невидимыми для ИИ-ассистентов. Пока мы думали, что «не упоминают в чате» — это про брендинг, оказалось, это технический сбой. И он может стоить клиентов.

Что скрывает сайт от ИИ

Попался разбор про то, как роботы, которые формируют ответы в ChatGPT, Perplexity и других, просто не могут прочитать сайт. Всё из-за простых вещей: JS-загрузка, запрет в robots.txt, отсутствие текста в HTML. Я уже начал проверять это у своих клиентов — и нашёл не одну проблему.

На мой взгляд, это не про «маркетинг» — это про доступность. Если ИИ не видит сайт, он не может его упомянуть. А значит, вы теряете трафик, который приходит через нейросети. Это уже не «дополнительный канал» — это основной.

Как ИИ читает сайт

ИИ-ассистенты не читают сайт как человек. Они скачивают HTML, но не запускают JavaScript. Если цена, описание или FAQ грузятся только через JS — ИИ видит пустоту.

Ещё важнее: роботы, которые сканируют для ответов, могут быть заблокированы в robots.txt. И если вы запретили GPTBot или PerplexityBot — вы сами отключаете себя от поиска в чатах. Это не про «обучение» — это про то, как сайт попадает в ответ.

Как проверить, что это касается вашего сайта

Я смотрю на три вещи: доступность контента в HTML, наличие разметки и разрешение роботов. Если главная страница — пустая, без текста, только JS-контент — это сигнал.

Также проверяю robots.txt: если там запрещены GPTBot, ClaudeBot или PerplexityBot — и нет исключений — это проблема. Или если в файле нет /llms.txt и нет микроразметки — это тоже не то, что нужно. Я делаю это при каждом аудите.

Что я делаю, когда нахожу

Первое — не паниковать. Я не добавляю «llms.txt» как магическое решение. Это полезно, но не критично. Главное — сделать так, чтобы контент был в HTML, а не в JS.

Затем — проверяю robots.txt. Если запрещены ИИ-краулеры — добавляю разрешение, но только для нужных. Или, если сайт не для ИИ — объясняю, что блокировка влияет на видимость в чатах. Объём работы — от 30 минут до часа, в зависимости от сложности сайта.

Что здесь даёт поддержка

На нашей поддержке это закрывается сразу: проверяем robots.txt, серверный рендер, наличие разметки. Если не хватает title, description, счётчика — это тоже фиксируем.

Мы работаем с 2002 года, более 100 клиентов по всему миру. Поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты. Понятность — это не мода, это фундамент.

Сделайте аудит сайта — бесплатно. Проверим, как ваш сайт видят ИИ и поисковики. Сделаем всё, что нужно, чтобы он не пропал.