Screaming Frog SEO Spider — локальный краулер: вы задаёте старт, он обходит то, что отдаёт ваш сервер этому клиенту. Это не индекс Ahrefs и не выдача. Хаб инструментов про стек; здесь сам Frog: какие отчёты стоит открывать после обхода, какие зелёные ячейки нельзя класть в акт «техничка закрыта».
Как устроен доступ робота к сайту — на техническом SEO. Кнопки Frog эту страницу не заменяют.
Что видит десктопный обход и чего не видит
Frog ходит с вашей машины или CI, с вашими cookie, basic auth и выбранным user-agent. Закрытое в robots.txt он может уважить или проигнорировать — это настройка, не «как Google». Облачный краулер Ahrefs и робот Яндекса видят другой периметр: другую IP, другой JS, другой бан. Совпадение цифр «URL в индексе» и «URL в Frog» — случайность, не KPI.
| Режим | Зачем | Где ломается |
|---|---|---|
| Только HTML | Быстрый список статус-кодов, title, каноникал, hreflang | Клиентский рендер, витрины на React без SSR |
| JavaScript rendering | Понять, появляется ли контент после JS | Медленно, лимиты Chrome, не копия Googlebot |
| Список URL (list mode) | Проверить выгрузку из Вебмастера, не весь сайт | Не найдёт сирот, которых не было в списке |
| Бесплатный порог 500 URL | Дымовой прогон посадок | Молча обрежет хвост каталога, отчёт «всё зелёное» |
Какие отчёты читают, а какие кладут в презентацию
- 4xx/5xx и редиректы с конечной целью: цепочка на HTTP и петля важнее процента «Response Codes».
- Каноникал, который указывает не на себя и не на живой 200. Это гипотеза для страницы про canonical, не «ошибка Frog».
- Дубли title и тонкие страницы пагинации — список кандидатов, не приговор уникальности.
- Inlinks: сирота не в индексе Ahrefs, а без внутренних входов на вашем графе.
Crawl overview со «score» поиск не ранжирует. Экспорт без открытия десятка URL в браузере — таблица. Если отчёт зовут аудитом, это скриншоты, не доступ робота и не спрос: смотрите постановку SEO-аудита.
Frog показывает, что ответил сервер этому клиенту. «Google так видит» из одного прогона не следует.
Сравнение с Sitebulb и клики по интерфейсу — отдельные URL кластера, сюда их не тащим. Semrush и Ahrefs остаются облачными индексами ссылок и ключей: Frog их не заменяет и не спорит, у кого «больше бэклинков».
Ограничение. Цифр «на сколько Frog точнее облака» нет: это разные объекты. Тарифы и лимиты лицензии плавают — не копируем прайс. Если сайт за WAF режет датацентровые IP, ваш домашний обход будет зеленее, чем робот поиска.
Частые вопросы
Достаточно ли бесплатных 500 URL?
Для дымовой проверки главной и пары шаблонов — да. Для магазина с фильтрами отчёт обрежется, и «ошибок нет» будет ложью о хвосте каталога.
Нужен ли JavaScript rendering всегда?
Нет. Сначала HTML: так быстрее ловятся 301 и пустые title. Рендер включайте, когда шаблон явно собирается в браузере и HTML почти пустой.
Заменяет ли Frog Вебмастер и Search Console?
Нет. Консоли знают, что поиск запросил и что проиндексировал. Frog знает, что ответил сервер вам. Расхождение — нормальный повод смотреть логи, не «сломать консоль».