Как сайт становится видимым для поисковиков и ИИ-ассистентов

Наткнулся на разбор о том, как Google индексирует страницы в Next.js — и понял, что это не про технические детали, а про то, как поисковики и ИИ-ассистенты выбирают, кому доверять. И это касается всех, кто хочет, чтобы сайт видели.

О чём речь и почему я считаю это важным для сайта

Речь не о том, чтобы «поставить метатег» — это давно не работает. Речь о том, чтобы сайт был понятен. Google и ИИ-ассистенты не просто «сканируют» — они проверяют, можно ли прочитать контент без JS, есть ли у страниц уникальные заголовки, есть ли ссылки, ведущие к ним. Если нет — сайт просто не попадает в индекс. Это не про «популярность», а про техническую доступность. Я считаю это важным, потому что у клиента нет смысла в контенте, если его не видят. И если сайт не видят — он не работает. Это не «оптимизация», это база.

Как это устроено — что тут вообще происходит

Сайт, который не может быть прочитан без JavaScript, для поисковиков — как пустая страница. Даже если у него красивые заголовки, он не попадает в индекс. Поисковик должен: получить доступ (через robots.txt), найти ссылку (через внутренние ссылки), прочитать контент как текст (не через JS), понять, какая версия главная (canonical), и увидеть карту сайта. Без одного из этих пунктов — сайт «невидим». А если невидим — не работает. Это не про «лучшую SEO-стратегию» — это про то, чтобы сайт был вообще доступен.

Как понять, что это касается вашего сайта («как я это проверяю»)

Я смотрю на три вещи: доступность, рендеринг и структура. Проверяю, открыт ли robots.txt и не закрыт ли доступ для поисковых ботов. Проверяю, есть ли в карте сайта главная страница и реальные URL, а не заглушки. Потом — вручную открываю страницу в режиме «без JS» или через инструменты, как Search Console. Если контент пустой — проблема. И если нет уникального title и description — поисковик сам их придумывает. Это снижает кликабельность. У меня в плане — проверить у всех клиентов, как рендерится главная страница и есть ли у неё серверный рендер. Если нет — это риск.

Что с этим делать («что я делаю в таких случаях»)

Сначала — резервная копия. Потом — проверяю, где у сайта статический рендер. Если используется Next.js — проверяю, есть ли generateMetadata и правильно ли указан canonical. Если нет — добавляю. Проверяю, нет ли в robots.txt запретов на краулеры. Проверяю, есть ли в карте сайта реальные URL, а не шаблоны. Проверяю, не закрыт ли доступ к файлу sitemap.xml. Если сайт на JS-фреймворке — проверяю, приходит ли контент в HTML. Если нет — настраиваем серверный рендер. Работа зависит от архитектуры сайта. У простых — один день. У сложных — неделя. Но без этого — сайт не будет виден.

Что здесь даёт поддержка

На нашей поддержке это закрывается заранее. Мы проверяем каждый сайт на доступность, рендеринг, карту сайта, robots.txt и метаданные. Если что-то не так — исправляем до того, как это станет проблемой. Поисковики и ИИ-ассистенты выбирают понятные и здоровые сайты. Мы не просто «проверяем» — мы делаем так, чтобы сайт был готов к тому, как будут работать поисковики завтра. Работаем с 2002 года, более 100 клиентов по всему миру. Приглашаю на бесплатный аудит сайта.