Почему ИИ-ассистенты не читают ваш сайт — и что с этим делать

Смотрел, что нового у вендоров, и увидел проверку, как ИИ-ассистенты читают сайт. Понял — это не про «будущее», а про то, что уже сейчас влияет на видимость. И что делать — я уже знаю.

Почему это не про «будущее», а про бизнес сегодня

Попался разбор, как GPTBot, ClaudeBot и PerplexityBot «читают» сайты. Не просто так. Эти боты уже сегодня смотрят на сайты, когда человек спрашивает у ИИ: «Где купить…?» И если сайт не читается — его просто не упомянут. Это не про «возможно, когда-нибудь». Это про то, что сайт может быть незаметен, хотя в топе поиска. Я считаю, что это уже не опция — это фундамент. Если ИИ не видит, то и клиент не найдёт.

Сейчас ИИ-ассистенты цитируют сайты, которые понятны и структурированы. А если сайт не отвечает на их запрос — он просто не попадает в ответ. Это не про SEO, это про доступность. И я уже начал проверять это у всех клиентов на поддержке.

Как ИИ-ассистенты «читают» сайт — и что мешает

ИИ-боты не сидят в браузере. Они не запускают JavaScript. Они читают HTML-код, как он есть. Если главная страница — пустая, потому что контент грузится через JS — бот видит только «скорлупу». Нет текста — нет контента. Даже если у сайта 1000 страниц, ИИ не знает, что там есть.

Ещё одна ловушка — robots.txt. Если в нём стоит запрет на всех ботов, включая GPTBot, ClaudeBot, PerplexityBot — сайт закрыт для ИИ. И это часто происходит из-за «безопасности»: плагины в CMS добавляют Disallow: / автоматически. И никто не проверяет, что именно блокируется.

Как проверить, что это касается вашего сайта

Я проверяю это первым делом, когда вижу сайт. Сначала — robots.txt. Есть ли запрет на GPTBot, ClaudeBot и других? Если да — это проблема. Потом — смотрю, что видит бот. Загружаю главную страницу через curl и ищу ключевые слова. Если текста нет — значит, сайт не серверно рендерится.

Ещё проверяю наличие /llms.txt. Он не обязателен, но если есть — ИИ-ассистенты его читают. И есть ли микроразметка: Organization, Product, FAQPage. Без неё ИИ не понимает, что за страница. Если хотя бы одна из ключевых разметок отсутствует — это сигнал.

Что я делаю, когда вижу проблему

Сначала — не паникую. Проверяю, что можно исправить быстро. Если сайт не серверно рендерится — включаю рендеринг на сервере. Если robots.txt блокирует ИИ-краулеров — убираю запрет, но только для них. Если нет /llms.txt — создаю. Это занимает час, но даёт доступ.

Самое важное — не просто «починить», а закрыть причину. Потому что если не сделать разметку — через неделю опять будет проблема. У меня в плане на неделю — проверка всех сайтов на поддержке. И уже начал с резервной копии.

Что здесь даёт поддержка — и почему это не просто «починка»

На нашей поддержке это закрывается заранее. Мы не ждём, пока ИИ не упомянет сайт. Мы проверяем, как он читается, — и если что-то не так — исправляем. Это не про реакцию, а про проактивность.

Поскольку поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты, мы делаем так, чтобы сайт был читаем не только человеком, но и машиной. Работаем с 2002 года, более 100 клиентов по всему миру. И каждый из них — не «ещё один сайт», а часть бизнеса, который не должен зависеть от авралов.

Приглашаю на бесплатный аудит сайта — проверим, как он читается ИИ-ассистентами и что можно улучшить уже сегодня.