Google напомнил: 503, robots.txt и JPEG XL — что сейчас важно для сайта

Утром попалось на глаза — Google напомнил, что при плановых остановках на обновление PHP нужно возвращать 503, а не 404. И это не просто технический нюанс. Всё, что касается доступа, индексации и использования контента, сейчас напрямую влияет на то, как ИИ-агенты и поисковики видят сайт. И это уже не про SEO, а про выживание в новой реальности.

Google уточнил, что при отключении сайта на обновление PHP нужно возвращать код 503 — это сохранит индексированные страницы в поиске, даже если сайт временно недоступен. Главное — не держать 503 дольше двух дней, иначе Google может временно исключить страницы из индекса. Важно, что 503 должен срабатывать вне зависимости от PHP: через CDN или временный сервер, чтобы не прервать доступ к самому сигналу. Если 503 подавать только по запросу robots.txt — это заблокирует весь краулинг, и сайт исчезнет из поиска. Это не ошибка, а уязвимость в архитектуре.

Ещё один момент — robots.txt. Gary Illyes пояснил, что стандартные директивы в robots.txt регулируют только доступ к краулингу, но не контроль использования контента. То есть, если вы запрещаете GPTBot, он может и не зайти, но это не означает, что его данные не будут использованы. Google-Extended — это токен, который позволяет указать, что контент не должен использоваться для обучения Gemini. Но это пока только черновик. На практике это значит: если вы хотите ограничить использование контента ИИ — нужно не только блокировать краулеров, но и понимать, что они могут быть в системе, даже если их не видно.

Ещё одна новость — Google не индексирует JPEG XL в Images и Discover. Даже если браузер поддерживает формат, поисковик его не видит. Для картинок в img src, picture и og:image нужно указывать JPEG, WebP или AVIF. Если вы используете JPEG XL — добавьте fallback. Это не про «хорошо» или «плохо», а про то, что контент не попадёт в поисковые карточки и не будет виден в Discover. И это уже не про производительность, а про видимость.