На стейджинге оставляют Disallow: /, выкатывают на прод — и через неделю «пропал трафик». robots.txt не поднимает позиции. Это инструкция краулеру: куда ходить, куда не ходить. Ломается доступ — ломается индекс. Ревизия 8 сентября 2026. Рамка: техническое SEO. Как робот Google видит сайт: Google SEO.
| Задача | robots.txt | Правильный инструмент |
|---|---|---|
| Не тратить краул на корзину, поиск, фильтры | Да, Disallow на мусорные URL | — |
| Убрать страницу из индекса | Нет. Disallow прячет URL от сканирования, не даёт гарантии noindex | noindex / снятие из Search Console |
| Передать каноникал | Нет | rel=canonical |
| Подсказать карту сайта | Да, директива Sitemap: | Плюс отправка в Search Console и Вебмастер |
| Crawl-delay | Google её игнорирует | Лимиты в Search Console, нормальный TTFB |
Правила, которые держат продакшен
- Один файл в корне на протокол и хост, который реально открывается как /robots.txt. Редирект на другую схему ломает чтение.
- Не закрывать CSS и JS, без которых Google не соберёт страницу. Ошибка старая и живая.
- Не ставить Disallow: / на проде «на всякий случай». Это выключение сайта для поиска.
- Служебные параметры и фасеты закрывать точечно, не весь каталог.
- После правки проверять URL в Search Console и Вебмастере, а не гадать, «понял ли робот».
robots.txt экономит бюджет обхода. Он не лечит тонкий контент и не заменяет SEO спроса.
- На проде остался Disallow со стейджинга.
- Закрыт /wp-admin — нормально; закрыт /wp-content/themes целиком — часто вредно для CSS.
- Sitemap указан на зеркало без каноникала.
- Разные файлы на www и без www.
Если страница должна остаться в выдаче, а вы закрыли её в robots.txt, бот может помнить старый URL и не увидеть свежий noindex. Сначала доступ, потом директивы индекса. Для нейросетей живой URL всё равно нужен: GEO файл роботов не отменяет.
Частые вопросы
Можно ли Disallow убрать страницу из выдачи?
Нет. Disallow мешает сканировать. Чтобы снять документ из индекса, нужны noindex на доступной странице или инструменты удаления в кабинете поисковика.
Одинаково ли читают файл Яндекс и Google?
Ядро директив пересекается, копии друг друга нет. Перед жёстким Disallow смотрите документацию того робота, который вам важен, и живой ответ /robots.txt с продакшена.
Перед правкой откройте https://ваш-домен/robots.txt в инкогнито и сравните с файлом в репозитории. На WordPress часто висит плагин, который отдаёт другой текст, чем лежит в корне. Яндекс.Вебмастер и Search Console оба умеют показать, как робот прочитал файл, — этим и пользуйтесь, а не скриншотом из FTP.
Комментарии в файле робот обычно игнорирует, но люди в них оставляют «временно закрыли каталог». Через полгода «временно» остаётся, а карточки маркетплейса и внутренний поиск по-прежнему жрут crawl. Чистите правила так же, как чистите редиректы: раз в квартал, со списком URL, которые должны быть в индексе.
Host и Clean-param — зона Яндекса, не копируйте их «на всякий случай» для Google. Если не понимаете директиву, не ставьте её. Ошибка Disallow дороже, чем лишний краул фильтров.