ИИ-трафик превысил человеческий: что делать сайту

Смотрел, что нового у вендоров, и увидел — ИИ-трафик впервые превысил человеческий. По данным Cloudflare, уже 57,5% всех HTTP-запросов — от агентных браузеров, которые не просто сканируют, а взаимодействуют с сайтом, как реальные пользователи. Это не атака, но нагрузка на сервер — реальная.

Сейчас краулеры, работающие с сайтом, — не просто поисковики. Это ИИ-агенты, которые заполняют формы, сравнивают цены, ходят по ссылкам. По данным Fastly, один такой бот может генерировать до 39 000 запросов в минуту. Для хостинга без кеширования это — пиковая нагрузка, которая может убить сайт, даже если трафик легальный.

На мой взгляд, главная угроза — не в том, что кто-то взломает, а в том, что сервер не выдержит. robots.txt здесь бесполезен: он не блокирует, а только просит. Агенты, которые создают нагрузку, его игнорируют. Работает только архитектура: кеширование, ограничение частоты запросов, проверка репутации.

Я уже начал проверять у клиентов, как настроено кеширование и есть ли rate-limiting. У тех, кто на платформах с встроенным кэшем, нагрузка — не сюрприз. У других — начинаю вносить изменения в план на неделю. Главное — не ждать падения, а закрыть причину заранее.