26 сентября 2026

Что на самом деле влияет на ИИ-поиск

Наткнулся на разбор о том, как поисковики и ИИ-ассистенты понимают сайты — и понял, что большинство советов про «разметку для нейросетей» просто сбивают с пути. Вот что на самом деле важно.

Вот что меня в статье поразило: люди с умом тратят время на разметку, а сайт вовсе не видят у ИИ-поиска. Потому что фундамент рухнул. Я уже давно проверяю это первым делом — не поисковик, а сама доступность. Если страница не отвечает 200, не проходит через WAF или блокируется robots.txt — разметка не поможет.

На мой взгляд, важнее другое: чтобы бот вообще мог добраться до контента. Без этого ни Open Graph, ни Schema.org не сработают. ИИ-ассистенты не читают вакуум. Я уже начал обновлять WordPress у своих клиентов — проверяю, не заблокирован ли доступ к главной странице.

Как устроена доступность для ИИ

Краулеры — это не единый механизм. У Google есть GPTBot, у Anthropic — ClaudeBot и Claude-SearchBot, у Perplexity — отдельно PerplexityBot и Perplexity-User. И у каждого — свои задачи. Один может читать, другой — учиться, третий — просто показывать ссылку.

Я смотрю на robots.txt не как на список «разрешить/запретить», а как на карту доступа. Если GPTBot запрещён, но Claude-SearchBot — нет, это не то же самое. И да, Perplexity-User часто игнорирует robots.txt — это не ошибка, это особенность. Это я проверяю в каждом аудите.

Как понять, что это касается вашего сайта

Я проверяю это так: сначала смотрю, отвечает ли главная страница 200 OK. Потом — доступна ли она без авторизации. Потом — не закрыта ли в robots.txt. Потом — нет ли noindex, не пустой ли title, не пропал ли счётчик. Если три из пяти — нет, это уже тревога.

Если у вас есть форма заявки — проверяю, не закрыта ли она robots.txt. Если нет — это риск по 152-ФЗ. У клиентов на поддержке это закрывается заранее. Нет смысла писать про llms.txt, если сайт не виден в поиске.

Что я делаю в таких случаях

Сначала — резервная копия. Потом — проверяю доступность через инструменты, которые имитируют краулеров. Если GPTBot блокируется — смотрю, где в WAF или .htaccess это прописано. Заменяю на правильные правила. Потом — проверяю, не закрыт ли контент JavaScript-рендером.

Если сайт на SPA — настраиваю серверный рендер. Если нет — добавляю редирект на статику. Потом — проверяю, не стоит ли noindex на главной или в метатегах. Всё это — в рамках ежемесячного аудита. Объём зависит от сложности сайта, но у всех — один порядок действий.

Что здесь даёт поддержка

На постоянной поддержке я закрываю эту задачу так: проверяю доступность, разметку, robots.txt, контент, счётчики — всё по списку. Потому что поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты. Им не нужна сложность — нужна ясность.

Работаем с 2002 года, более 100 клиентов по всему миру. У нас нет кейсов, но есть практика: если сайт не работает — мы его настраиваем. А если он работает — мы его не трогаем. Приглашаю на бесплатный аудит сайта.