Робот Яндекса — HTTP-клиент, который скачивает URL. Это не индекс и не позиция. Решение «хранить страницу» — на индексации; очередь и исключения смотрите в Вебмастере. Хаб Яндекс SEO про коммерцию и текст. Здесь агент в логах: какой User-agent, зачем он пришёл, как не спутать его со счётчиком Метрики.
Какие клиенты ходят и зачем
| Агент (фрагмент) | Задача | Не путать с |
|---|---|---|
| YandexBot | Основной обход документов для поиска | «Бот был» ≠ страница в индексе |
| YandexImages / Video / Media | Картинки, ролики, медиаобъекты | Закрытый /uploads/ в robots — дыра именно здесь |
| YandexWebmaster / Pagechecker | Проверки из кабинета, не регулярный краул всего сайта | Пик запросов после кнопки «переобход» |
| YandexMetrika | Счётчик и вебвизор, это не поисковый обход | Строка в access.log не доказывает интерес Поиска |
| Turbo / связанные клиенты | Устаревшие и служебные выборки | Турбо как продукт — соседний URL, не этот |
Официальные подписи и диапазоны Яндекс публикует сам; проверяйте User-agent плюс происхождение IP, а не «в логе написано YandexBot». Подделки с этим именем обычны на парсерах выдачи. Googlebot — другой периметр и другая консоль: Google SEO.
Что видно в access.log и чего там нет
- Код ответа, который получил робот: ваш 301 на www, 200 в браузере с кукой и 404 без неё — разные объекты.
- Частота на шаблон, не на «сайт»: карточку товара обойдут иначе, чем фильтр. Очередь читает URL.
- Пик после выкладки sitemap не обещает индекс. Карта предлагает кандидатов, см. sitemap.xml.
- Молчание по разделу: Disallow, basic auth, гео-бан датацентра, другой хост зеркала.
Робот отвечает на вопрос «скачали ли». Вебмастер — «что решили после». Лог без кабинета — половина сцены.
Главное зеркало, www и https робот обходит как отдельные хосты, пока склейка не устоялась. Ответ 200 на оба — два документа в очереди, не «он сам догадается». Для магазина важнее стабильный TTFB шаблона карточки, чем «ускорить робота» плагином. Если задача — заявки из коммерческой выдачи, это уже продвижение, не смена user-agent в логе.
Ограничение. Цифр «бюджет обхода Яндекса в процентах» у нас нет и не выдумываем. Поведенческие факторы и ИКС на эту страницу не кладём. Сравнение «кто чаще ходит, Google или Яндекс» без ваших логов — разговор, не методика.
Частые вопросы
Почему робот ходит, а страницы нет в поиске?
Скачали и положили в индекс — разные решения. Смотрите исключения в Вебмастере: дубль, малополезность, каноникал, noindex.
Нужно ли пускать всех роботов Яндекса?
Поисковому YandexBot — да, если URL должен быть кандидатом в индекс. Рекламные и медиа-клиенты режьте точечно, не одним Disallow: /.
Как отличить настоящий YandexBot от парсера?
Сверьте IP с опубликованными диапазонами и обратным DNS. Имя в User-agent подделать дешево; адрес источника — нет.