Управление AI-ботами на сайте стало одной из тех тем, которые ещё год назад были уделом «технарей», а сейчас касаются каждого, у кого есть работающий сайт. Особенно если на этот сайт идёт трафик, с него приходят клиенты и он что-то стоит в обслуживании.
Смотрите, в чём тут дело. Пока большинство обсуждают, не «украл» ли очередной AI-чатбот их статью, инфраструктурная сторона вопроса тихо стала куда серьёзнее. Боты не просто копируют контент — они потребляют ресурсы, искажают метрики и создают расходы, которые вы несёте без какой-либо отдачи.
Скрейпинг — это не главная проблема
Принято считать, что главная угроза от AI-ботов — это кража контента. Бот приходит, забирает ваш текст, встраивает его в ответ языковой модели без ссылки на источник. Неприятно? Да. Но это лишь верхушка айсберга.
Более серьёзная, хотя и менее заметная проблема — боты, которые просто плохо написаны. Они не злоумышленники: они буквально не знают, что делают. Типичный сценарий: автоматизированный агент начинает обходить сайт, попадает в бесконечный цикл URL-вариаций и гоняет запросы днями, пока что-то его не остановит.
Представьте: у вас интернет-магазин с фильтрами по цвету, размеру и цене. Каждая комбинация фильтров — отдельный URL. Бот может методично обходить их все, по несколько раз, генерируя тысячи запросов. Каждый такой запрос — это PHP, база данных, сессия. Сервер работает, хостинг тикает.
Один из представителей Cloudflare описал это так: появился человек, который «вайб-кодил» бота вчера и сегодня выпустил его в свет, даже не удосужившись проверить robots.txt. Никакого злого умысла — просто автоматизация без ограничителей.
Что происходит с вашими деньгами и аналитикой
Есть два практических последствия, которые стоит понять отдельно.
Расходы на хостинг. Динамические страницы — корзина, поиск по сайту, страницы с фильтрами, оформление заказа — не кэшируются. Каждый запрос к ним требует реальных вычислительных ресурсов. Когда бот многократно обходит именно эти страницы, он создаёт нагрузку, за которую платите вы. При этом он никогда ничего не купит.
Искажение метрик. По данным исследования Kinsta, трафик от AI-ботов за последний год вырос на 300%. К концу 2025 года примерно каждый 31-й визит в одной из крупных сетей мониторинга приходил от AI-бота. Это значит, что цифра «визиты» в вашей аналитике всё меньше отражает реальную аудиторию.
Сайт может показывать рост трафика — и одновременно стагнацию в продажах, заявках, подписчиках. Если вы принимаете решения на основе «посещаемости», вы можете принимать их на основе воздуха.
О том, как меняются поведенческие сигналы и метрики в эпоху AI-поиска, я писал в статье про SEO в 2025–2026: цифры, которые меняют подход к продвижению — там есть контекст, который помогает смотреть на трафик трезво.
Ловушка: видимость vs. стоимость трафика
Вот где становится по-настоящему неудобно. Было бы просто — заблокируй всех ботов и живи спокойно. Но не всё так однозначно.
Одни боты помогают поисковикам находить ваши страницы. Другие, возможно, влияют на то, цитирует ли вас AI-поиск. Третьи просто жрут ресурсы и уходят ни с чем.
По данным исследования, около 80% активности AI-краулеров связано с обучением языковых моделей — а не с тем, чтобы показывать ваш контент пользователям. То есть большинство ботов берут ваши материалы для себя, а не для вашей аудитории.
При этом полный бан автоматического трафика может ударить по вашей индексации и видимости в поиске. Бизнес оказывается в ситуации: платить за трафик, который не конвертируется, или рисковать потерять органическую видимость.
Именно эту тему — что реально происходит с видимостью контента в AI-поиске — я подробно разбирал в статье про форматы контента, которые цитируют AI-поисковики. Если вы ведёте блог и хотите появляться в AI-ответах — это читать обязательно.
Управление AI-ботами: три практических шага
Давайте по шагам. Что с этим можно делать прямо сейчас — без найма инфраструктурной команды.
Шаг 1. Сначала поймите, что происходит. Прежде чем что-то менять, нужно увидеть картину. Не нужно идентифицировать каждого бота поимённо. Нужно найти паттерны: какие URL запрашиваются чаще всего, есть ли циклические запросы к одним и тем же страницам, что за агенты составляют основную долю трафика. Это видно в логах сервера или через инструменты мониторинга трафика.
Шаг 2. Защитите дорогостоящие функции. Корзина, оформление заказа, внутренний поиск, страницы с параметрическими фильтрами — это самые ресурсоёмкие части большинства сайтов. Именно туда стоит ограничить доступ краулерам, которые не имеют отношения к индексации. Это делается через robots.txt или более точечно — через правила на уровне хостинга или CDN.
Шаг 3. Разделите ботов по ценности. Гугловский Googlebot и бот Яндекса — это одно. Они напрямую влияют на вашу видимость в поиске. AI-краулер, который собирает данные для обучения модели — это совсем другое. Единая политика «разрешить всем» или «запретить всем» уже не работает. Нужна дифференциация: поисковикам — доступ, обучающим ботам — по ситуации, неизвестным скраперам — минимум.
На какие метрики смотреть вместо «посещаемости»
Тут есть нюанс, который важен независимо от того, насколько вас беспокоят боты. Если автоматический трафик растёт, «число визитов» как метрика деградирует. Что вместо неё?
- Брендовый поисковый спрос. Если люди начали гуглить ваше имя или название проекта — это сигнал реальной аудитории.
- Прямые заходы. Люди, которые сами набирают ваш адрес или переходят из закладок — живые читатели.
- Качество вовлечённости. Время на сайте, глубина просмотра, возвраты — всё это боты не имитируют.
- Бизнес-результаты. Заявки, подписки, продажи. Это единственные цифры, которые не врут.
Смотрите на эти показатели в динамике — и вы увидите реальную аудиторию, а не автоматизированный шум.
Что это значит для экспертов и небольших сайтов
Если у вас корпоративный сайт с выделенным DevOps — у вас уже есть инструменты. Но если у вас блог эксперта, небольшой сервис или лендинг с базой — ситуация другая.
Несколько практических ориентиров:
- Проверьте свой robots.txt: закрыты ли там страницы, которые не нужно индексировать (поиск по сайту, параметрические URL, служебные разделы).
- Если используете WordPress — плагины типа Wordfence или настройки через Cloudflare позволяют отфильтровать известных нежелательных ботов без особых технических знаний.
- Не гонитесь за ростом «посещаемости» ради самого роста. Следите за конверсиями и реальным вовлечением.
- Если вы создаёте контент под AI-цитирование — это отдельная стратегия, которая требует понимания того, как AI-системы вообще выбирают источники.
О том, как AI-системы запоминают ваш бренд и контент, есть отдельный материал — про EntityMap и то, как AI-системы запоминают ваш бизнес. Это поможет понять, стоит ли вообще «открываться» ботам или нет.
Если коротко: вопрос уже не «блокировать или нет». Вопрос в том, какие боты на каких страницах при каких условиях работают в вашу пользу — а не за ваш счёт.
Если вы хотите разобраться, как это устроено конкретно для вашего проекта, и следить за такими разборами в режиме реального времени — заходите в мой Telegram-канал. Там я разбираю именно такие практические вещи без лишнего шума.
По мотивам материала Search Engine Journal «AI Bots Keep Overloading Servers. Should Website Owners Keep Paying?».
Частые вопросы
Как AI-боты влияют на нагрузку на сервер?
Стоит ли блокировать всех AI-ботов на сайте?
Почему растёт трафик, но не растут продажи?
Как закрыть от ботов дорогостоящие страницы сайта?
100 нейросетей
для экспертов
Подборка, которой реально пользуются — пришлю на почту. Без спама, отписка в один клик.
любых задач
и эффективности
и карьеры
Комментарии
Будьте первым — поделитесь мыслями или задайте вопрос.
Чтобы оставить комментарий — войдите
Это пара кликов. Чтобы избежать спама — только зарегистрированные пользователи. Никакой рассылки, только если вы сами захотите.