Google объяснил robots.txt для ИИ-ботов и эмодзи

Разбирал ленту и остановился на том, что Google объяснил, как работает robots.txt с ИИ-ботами и эмодзи. Пояснили, что Google читает файл построчно, поддерживает только User-agent, Allow, Disallow и Sitemap — остальное игнорирует. Ключевое: для ИИ-роботов, вроде Google-Extended, нужно писать отдельные правила, используя их идентификатор, а не общий *.

При этом эмодзи в URL — это нормально, Google сам приводит их к процентному кодированию. Но в robots.txt писать их в оригинале — рискованно: не все краулеры так же обрабатывают. Лучше сразу использовать кодировку, чтобы не было сюрпризов. Это не про защиту, а про предсказуемость: если робот не понял, что запрещено — он может обойти.

Считаю, что главный момент — не в эмодзи, а в том, что robots.txt не блокирует обучение ИИ. Запрет на обход — это не запрет на использование данных. Уже есть токен Google-Extended, но он не останавливает ИИ-сервисы, которые не подчиняются. Значит, сайт может быть включен в обучение, даже если в robots.txt стоит Disallow.

У себя уже проверяю, как настроены правила для Google-Extended и других ИИ-ботах. У клиентов на поддержке — добавлю в план на неделю. Пока не тороплюсь с массовым обновлением, но уже смотрю, кто не вписался в новую логику. Главное — не дать роботу обойти, а не верить, что файл его остановит.