Crawl budget — сколько URL Google готов скачать с хоста за время, не сжигая сервер и не обходя один и тот же мусор. Это не индекс и не «секретный коэффициент РФ». Очередь захода — сканирование сайта Googlebot. Клиент в логах — Googlebot. Решение хранить документ — индексация Google. Хаб — Google SEO.
Кабинет, где видно нагрузку хоста, — Search Console, отчёт статистики сканирования. Слой доступа — техническое SEO. Запреты — robots.txt. Витрина поиска — Google Search.
Две половины, которые путают в одно слово
| Кусок | О чём | Чего не обещает |
|---|---|---|
| Crawl rate limit | Сколько параллельных запросов хост выдерживает без 5xx и деградации TTFB | Не «кнопка быстрее в топ» |
| Crawl demand | Насколько Google вообще хочет возвращаться к URL: свежесть, ссылки, спрос, ошибки | Не квота в процентах от sitemap |
| Итог: crawl budget | Пересечение лимита сервера и спроса робота | Не число проиндексированных страниц |
На визитке из двухсот каноникалов бюджет почти никогда не главный тормоз. Тонкий текст, кривой каноникал и дубли фильтров закрывают индекс раньше, чем «робот не успел». Бюджет становится темой на больших каталогах, маркетплейсах и сайтах, где параметры плодят миллионы адресов. Если консультант лечит падение трафика «увеличением crawl budget» без логов и сводки индекса — это театр, не метод. Смотрите постановку SEO-аудита.
Куда бюджет уходит впустую
- Фасеты, сортировки, UTM и session-id как отдельные документы.
- Цепочки редиректов: каждый 301 — заход, не страница.
- 5xx и таймауты: Google сжимает rate limit, очередь сдвигается.
- Зеркала www/https без склейки: два хоста делят внимание, вы смотрите один отчёт.
- Карта, в которую свалили все параметры «на всякий случай».
Crawl budget экономит обход. Он не лечит тонкий документ и не заменяет спрос.
Практический порядок: сначала уберите мусор из доступа (robots, параметры, каноникал), потом стабилизируйте ответ сервера, потом смотрите график сканирования. Ползунок «ограничить скорость» в Search Console нужен, когда хост падает под роботом, а не как ритуал по понедельникам. Поднять лимит кабинетом «чтобы нас чаще обходили» Google не обещает: спрос решает он.
Lastmod в sitemap и быстрый 304 помогают не качать одно и то же тело. Они не добавляют бюджет из воздуха. Плагин «ускорить индексацию» обычно жжёт точечные запросы и плодит параметры — это расход очереди, не подарок.
Ограничение. Нет таблицы «N URL в сутки на типичный сайт РФ» и не выдумываем. Нет процента Seojnik-краула и нет формулы, которую Google публично раскладывает до пикселя в 2026. Сравнение бюджета Google и Яндекса без ваших логов — разговор. Ловушки обхода и файл роботов разобраны на соседних URL, чтобы не каннибалить этот H1.
Частые вопросы
Нужно ли маленькому сайту считать crawl budget?
Редко. Сначала каноникал, индекс и смысл страницы. Бюджет становится узким местом, когда шаблоны плодят тысячи адресов или сервер отвечает 5xx.
Увеличивает ли sitemap crawl budget?
Нет. Карта предлагает кандидатов. Она не расширяет лимит сервера и не заставляет Google хотеть ваш фильтр.
Почему робот обходит фильтры, а денежные URL редко?
Очередь читает то, что легко обнаружить и что не закрыто. Фасеты без Disallow и с внутренними ссылками съедают заходы. Спрос на карточку от этого не растёт.
Стоит ли двигать ползунок скорости сканирования в Search Console?
Только если хост деградирует под роботом. Как способ «продвинуться быстрее» ползунок не работает и может наоборот урезать обход.