Что нейросети читают на сайте: разбор логов dpro-agency.ru
Кратко
За 19 дней «обращения нейросетей» в логах нашего сайта дали почти 21 тысячу запросов, но 70% из них пришли с 23 адресов, которые представлялись разными ботами и сканировали сайт на уязвимости. После очистки картина оказалась другой и куда интереснее.
Коротко: что мы нашли в логах собственного сайта
Мы разобрали журнал веб-сервера сайта dpro-agency.ru за период с 3 по 21 сентября 2026 года, чтобы понять, как часто нейросети читают сайт и что именно. Сырой подсчёт по названию бота в запросе дал 20 988 обращений. Затем мы проверили, кто на самом деле за ними стоит, и выяснили, что 14 719 из них, около 70%, пришли всего с 23 IP-адресов, которые представлялись разными ботами по очереди. Это были сканеры уязвимостей, а не нейросети.
После очистки остались настоящие боты, и картина выглядит так:
- подавляющую часть запросов делают боты, которые собирают данные для обучения моделей: один только Meta-ExternalAgent дал 3 991 успешное обращение из 5 320;
- боты, которые открывают страницу в момент вопроса человека, обратились к сайту 102 раза, и 98 раз из них читали главную страницу или страницу основателя;
- за 19 дней мы нашли один визит человека, пришедшего из ChatGPT по ссылке с меткой источника.
Дальше подробно: как мы считали, чем настоящий бот отличается от подделки и что из этого следует для сайта компании. Цифры относятся к одному сайту и короткому периоду, поэтому мы приводим их как наблюдение, а не как рыночную статистику.
Как мы считали
Источником данных был журнал доступа веб-сервера nginx. Мы взяли период, за который журнал сохранился полностью: с 3 по 21 сентября, 19 дней. Работали в несколько шагов.
Признак подделки выбран простой: настоящая компания не отправляет запросы с одного адреса, называя себя то одним ботом, то другим. Более надёжный способ существует: сверять адреса со списками, которые публикуют сами разработчики нейросетей. Мы применили упрощённый признак, поэтому какая-то часть подделок, представлявшихся одним именем, могла остаться в данных, а часть настоящих запросов могла попасть под фильтр по ошибке. Границы этого мы обсудим в конце.
Сырой подсчёт против реальности
| Показатель | Значение |
|---|---|
| Обращений с именами ИИ-ботов в сыром подсчёте | 20 988 |
| Из них с 23 адресов, менявших имена | 14 719 (около 70%) |
| Максимум разных имён у одного адреса | 15 |
| Успешных запросов настоящих ботов (страницы и служебные файлы) | 5 320 |
| Из них запросов именно к страницам сайта | 1 165 |
Сырая цифра завысила картину примерно в четыре раза. Если бы мы приняли её на веру, то заключили бы, что нейросети активно интересуются сайтом, и сделали бы неверные выводы о том, что работает. Именно поэтому любую цифру «сколько раз нас читали нейросети» нужно проверять на подделки, прежде чем ею пользоваться.
Кто эти 23 адреса
Запросы с этих адресов выглядели так. Один и тот же адрес за несколько минут представлялся ботом OpenAI, потом ботом Anthropic, потом Perplexity, потом другими, а иногда даже мессенджерами. Вместе с тем около девяти запросов из десяти с этих адресов были обращениями к служебным путям: файлам конфигурации, репозиториям, ключам облачных сервисов, адресам, которые используются для служебных запросов облачных платформ. Это поведение сканера уязвимостей, а не поискового бота. Название ИИ-бота он использует, вероятно, для того, чтобы его пропустили правила защиты.
Ни один секрет не был раскрыт: сайт на такие запросы отвечал ошибкой «не найдено», потому что таких файлов на нём нет. Мы проверили это отдельно. Для владельца сайта из этого следуют два практических вывода. Во-первых, в открытом доступе не должно быть файлов, которые не предназначены для чтения. Во-вторых, правило «пускать любого, кто назвался ИИ-ботом» опасно: подделка ничего не стоит.
Какие боты читают сайт на самом деле
Разберём успешные запросы настоящих ботов по назначению. Классификация опирается на то, как разработчики описывают своих ботов, и на общепринятое деление.
| Назначение | Боты | Запросов |
|---|---|---|
| Сбор данных, в том числе для обучения моделей | Meta-ExternalAgent, ClaudeBot, GPTBot, CCBot, Bytespider, Amazonbot | 4 630 |
| Индексация для поиска внутри нейросети | OAI-SearchBot, PerplexityBot, YouBot | 422 |
| Открытие страницы по вопросу человека | ChatGPT-User | 102 |
| Поиск и сервисы Apple | Applebot | 166 |
Из таблицы видно, что подавляющее большинство запросов делают боты, собирающие данные. Один Meta-ExternalAgent даёт 3 991 запрос из 5 320, то есть примерно три четверти. Это не значит, что эти данные используют для ответов людям на вопросы о вас: обучающие боты читают всё подряд, и связи с конкретным ответом у них нет.
Самая маленькая группа, боты, которые идут на сайт по вопросу живого человека, оказалась самой интересной. И боты Claude, и боты Perplexity, работающие в режиме «по запросу пользователя», после очистки дали ноль настоящих обращений: все запросы под этими именами пришли от подделок.
Что читает бот, который отвечает человеку
За 19 дней бот ChatGPT-User, который открывает страницу, пока отвечает на вопрос человека, обратился к сайту 102 раза, причём в 18 из 19 дней. Он читал:
| Страница | Обращений |
|---|---|
| Главная страница | 83 |
| Страница основателя Сергея Доброва | 15 |
| Статья об анализе конкурентов | 1 |
| Статья о построении личного бренда | 1 |
| Страница услуги «Маркетинг на аутсорсе» | 1 |
| Политика конфиденциальности | 1 |
98 обращений из 102 пришлись на главную и страницу основателя. Статей, на которые мы тратим основные усилия по контенту, бот открыл только две. По оценке Сергея Доброва, это означает, что люди в ChatGPT чаще спрашивают «кто такое агентство Д-ПРО» и «кто такой Сергей Добров», чем задают тематические вопросы, под которые мы пишем статьи. Такое объяснение остаётся гипотезой: мы видим, что бот читал, но не видим, что именно спрашивал человек.
Бот, который индексирует сайт для поиска внутри ChatGPT (OAI-SearchBot), сделал 123 запроса к страницам сайта: 95 из них пришлись на страницу основателя. Поисковая система читает то, что помогает ответить на вопрос «кто это».
Приходят ли люди из нейросетей
За тот же период мы нашли один визит человека, пришедшего из ChatGPT: адрес содержал метку источника этой нейросети. Он открыл статью о примерах маркетинговой стратегии, а затем перешёл на статью об УТП. Одного визита мало для выводов, но важно другое: приход из нейросети возможен и он фиксируется.
Оговорка: многие приложения открывают ссылки без передачи источника, и такие визиты попадают в категорию «прямых». Поэтому найденный один визит нужно считать нижней границей. Для сравнения, Яндекс Метрика насчитала 653 визита на сайт за 1–21 сентября, но сопоставлять эту цифру с числом запросов ботов напрямую нельзя: это разные единицы измерения.
Что это значит для сайта компании
Страница о компании и об основателе работает как лицо сайта для нейросетей. Если люди спрашивают ассистента «кто это», первое, что читает бот, это именно она. Поэтому её стоит делать самой чёткой и фактической: кто вы, чем занимаетесь, для кого, где находитесь, каков опыт и какие услуги. Без выдуманных цифр и неподтверждаемых утверждений.
Тематические статьи нужны, но их роль другая. Они служат основой для ответов на общие вопросы и для обычного поиска, но нейросети приходят за ними реже, чем за информацией о самой компании.
Не стоит верить сырым цифрам. Если вам присылают отчёт «нейросети обратились к сайту N тысяч раз», спросите, как проверялась подлинность ботов. Без этого цифра почти ничего не значит.
Защита от подделок важна. Открытые служебные файлы, ошибки настройки и подобное сканеры находят быстро. Проверьте, что то, что не предназначено для публики, недоступно.
Что делать владельцу сайта с разными типами ботов
Разные боты приносят разную пользу и несут разные риски, поэтому отношение к ним не должно быть одинаковым.
| Тип бота | Чем может быть полезен | Возможный риск | Что с ним делать |
|---|---|---|---|
| Индексация для поиска внутри нейросети | Шанс попасть в ответы и получить ссылку | Нагрузка на сервер при частых обходах | Разрешить, следить за нагрузкой |
| Открытие страницы по вопросу человека | Прямая связь с живым вопросом клиента | Почти нет | Разрешить, изучать, какие страницы читают |
| Сбор данных для обучения | Косвенное знание моделей о вас | Использование материалов без ссылок и трафика | Решить осознанно: разрешить или закрыть в robots.txt |
| Поисковые боты крупных платформ | Присутствие в их сервисах | Нагрузка | Разрешить, проверить подлинность |
| Подделки и сканеры | Никакой | Поиск уязвимостей, лишняя нагрузка | Не пускать, проверить, что служебные файлы закрыты |
О нагрузке стоит сказать отдельно. На нашем сайте один бот, собирающий данные, дал три четверти успешных запросов. Для небольшого сайта на быстром сервере это не проблема, но при слабой инфраструктуре частый обход способен замедлять сайт для живых людей. Проверьте, нет ли у вас такого эффекта, прежде чем принимать решение о правилах.
Второй практический вопрос касается подлинности. Правило в robots.txt соблюдают добросовестные боты. Сканеры и подделки его игнорируют, поэтому закрыть от них сайт получится только настройками сервера и защитой на уровне сети. Это отдельная задача для технического специалиста, и её нельзя решать, полагаясь на robots.txt.
Наконец, помните, что любое ограничение стоит сопоставить с целью. Если вам важно присутствие в ответах нейросетей, закрывать поисковых и пользовательских ботов бессмысленно. Если же вы принципиально не хотите, чтобы материалы использовались для обучения, закрывайте только обучающих: разработчики публикуют названия своих ботов, и правила для них можно прописать отдельно.
Ограничения нашего разбора
Мы стараемся не преувеличивать выводы, поэтому перечислим слабые места.
- Короткий период. 19 дней, один сайт. Из этого нельзя делать общий вывод о поведении нейросетей.
- Простой признак подделки. Мы исключали адреса с двумя и более именами. Сканеры, использовавшие одно имя, могли остаться в данных. Надёжнее сверять адреса с опубликованными разработчиками списками, чего мы здесь не делали.
- Журнал показывает запросы, а не ответы. Мы видим, что бот открыл страницу, но не видим, попала ли она в ответ человеку.
- Часть посетителей невидима. Приложения нейросетей нередко открывают ссылки без источника.
- Классификация ботов условная. Один и тот же бот может выполнять несколько функций, а разработчики меняют назначение своих ботов.
Как повторить разбор на своём сайте
- Сохраните журналы веб-сервера за максимально длинный период. По умолчанию многие серверы хранят их совсем недолго: мы сами столкнулись с тем, что данные за начало месяца успели удалить, и увеличили срок хранения.
- Выберите запросы, где в названии клиента встречаются имена известных ИИ-ботов.
- Найдите адреса, которые называли себя разными ботами. Их исключите.
- Оставьте запросы с успешным ответом и только к существующим адресам.
- Разбейте оставшееся по назначению бота и посмотрите, какие страницы открывают боты, работающие «по запросу человека».
- Отдельно поищите в аналитике переходы с доменов нейросетей и метки источников.
- Повторяйте раз в месяц и сравнивайте с собой, а не с чужими цифрами.
Подробно о том, как строить систему проверки упоминаний, мы писали в материале «Как узнать, по каким запросам нейросети упоминают ваш сайт».
Как к этому подходит Д-ПРО
Мы смотрим на данные о ботах, чтобы понять, какие страницы сайта должны отвечать на вопросы нейросетей в первую очередь. Красивая цифра для этого не нужна. Такой разбор входит в нашу работу с GEO: сначала проверяем, что видят боты и какие вопросы задают люди, затем приводим в порядок страницы о компании и услугах, и только после этого пишем новые материалы. Общую логику GEO мы описывали в статье «GEO-оптимизация сайта: как попасть в ответы нейросетей».
Разберём логи и страницы вашего сайта
Если вам интересно, кто на самом деле читает ваш сайт и что нейросети говорят о вашей компании, мы можем провести такой разбор: отделить настоящих ботов от подделок, показать, какие страницы они читают, и предложить план доработок.
Частые вопросы
Как часто нейросети заходят на сайт?
Единой цифры нет. На нашем сайте за 19 дней настоящие боты сделали 5 320 успешных запросов, но три четверти из них пришлись на один бот, собирающий данные для обучения. Боты, которые открывают страницу по вопросу человека, обратились к сайту 102 раза.
Как отличить настоящего ИИ-бота от подделки?
Один из признаков подделки: один и тот же адрес представляется разными ботами. Ещё признак: обращения к служебным файлам, которых нет на сайте. Надёжнее всего сверять адреса со списками, которые публикуют разработчики нейросетей.
Что такое ChatGPT-User в логах?
Это название клиента, с которым ChatGPT открывает страницу в момент, когда человек задал вопрос и системе нужна свежая информация. Такие обращения показывают, какие страницы нейросеть читает при ответе.
Какие страницы сайта нейросети читают чаще всего?
На нашем сайте боты, работающие по вопросу человека, читали главную и страницу основателя: 98 обращений из 102. Данные относятся к одному сайту и короткому периоду.
Опасно ли, если сайт сканируют боты?
Само сканирование неизбежно. Опасны открытые служебные файлы и ошибки настройки. Проверьте, что файлы конфигурации, репозитории и ключи недоступны из интернета.
Стоит ли закрывать сайт от обучающих ботов?
Это решение владельца сайта. Такие боты не связаны с конкретными ответами на вопросы о вашей компании, но и не приводят покупателей. Закрывать их или нет, зависит от вашей позиции по использованию контента.