sitemap.xml — это список канонических URL, которые вы хотите отдать роботу на обнаружение. Это не хаб технического SEO и не соседний файл robots.txt. Хаб закрывает доступ к сайту целиком. robots.txt говорит, куда ходить нельзя. Карта сайта говорит, какие адреса вы считаете документами. Хаб уже фиксирует приоритет: ссылки важнее карты. Sitemap помогает обнаружить, архитектура решает, что считают важным.
Граница. HTML-карта для людей и отдельная страница «sitemap.xml для Google» — соседние темы, их не подменяем. Фасеты магазина и пагинация — отдельные URL кластера. Рамка метода — SEO. Отправка файла в кабинет Яндекса — в Вебмастере, не «положили в корень и забыли».
Что файл доказывает, а что только обещает
| Задача | sitemap.xml | Правильный инструмент |
|---|---|---|
| Сообщить роботы о канонических денежных URL | Да, если файл доступен и свежий | Плюс внутренние ссылки с живых страниц |
| Попасть в индекс | Нет. Обнаружение ≠ индекс | Доступ, качество, отсутствие дубля |
| Закрыть URL от индекса | Нет. Наличие в карте не отменяет noindex, но путает | noindex / снятие из кабинета |
| Передать каноникал | Нет. В карте должен быть уже канонический адрес | rel=canonical и редирект зеркал |
| Сэкономить обход на мусоре | Да, если мусора в файле нет | robots.txt на корзину, поиск, фильтры |
| Поднять позиции | Нет | Документ и спрос. Карта не ранжирует |
robots.txt умеет указать директиву Sitemap. Это подсказка, где лежит файл, а не замена отправки в Вебмастер и Search Console. Если в robots закрыт URL, который торчит в карте, вы спорите сами с собой.
Что класть в карту, а что выкидывать
- Кладите канонические посадки, категории и карточки, которые должны быть в поиске. Не кладите все комбинации фильтров «на всякий случай».
- Не кладите URL с noindex, мягким 404, редиректом и параметрами сортировки. Карта — не выгрузка базы.
- lastmod пишите только если он честный: дата реального изменения документа. Вечный «сегодня» на всём каталоге робот перестаёт уважать.
- Большой сайт режьте на индекс карт: каталог, статьи, служебное — отдельные файлы. Один гигантский список труднее чинить и проще сломать.
- Один хост — одна каноническая карта. Sitemap на www при каноникале без www повторяет ошибку, которую robots.txt уже называет типичной.
Карта помогает найти URL. Ссылка говорит, что URL важен. Индекс решает, нужен ли документ в поиске. Три разных действия нельзя склеить в «добавили sitemap — ждём топ».
Рабочий контур после выкладки
- Откройте файл с продакшена как есть: тот хост и схема, которые канонические. Редирект карты на другое зеркало ломает чтение так же, как редирект robots.txt.
- Сверьте 20 денежных URL: они в карте, отдают 200, не закрыты в robots, каноникал смотрит в себя.
- Отправьте карту в Вебмастер и Search Console. Ошибки файла чините в XML, не текстом на главной.
- После смены дерева каталога обновляйте карту в том же спринте, что и редиректы. Иначе робот обходит старые адреса из вчерашнего списка.
- Сироты, которых нет в навигации, картой не лечатся насовсем: хаб прав — архитектура важнее. Добавьте ссылку с живого родителя или не индексируйте URL.
Когда карта чистая, а доступ всё равно дырявый, смотрите постановку — SEO-аудит сайта. Подрядчик, который «подключил sitemap в плагине» и считает техничку закрытой, продал файл, а не доступ робота к денежным URL.
Ограничение. Нет обещания «все URL из карты попадут в индекс». Нет универсального lastmod, который ускоряет обход. Лимиты размера и числа адресов смотрите в текущей справке того робота, который вам важен: Google и Яндекс читают пересекающееся ядро, но не копию друг друга. HTML-карта для посетителя на этой странице не разбирается.
Частые вопросы
Чем sitemap.xml отличается от хаба «техническое SEO»?
Хаб — слой доступа: роботы, дубли, редиректы, рендеринг, скорость. Здесь только список URL для обнаружения: что класть, чего не класть и почему файл не заменяет ссылки. Без этого хаб превращается в чек-лист плагинов.
Что важнее — карта сайта или внутренние ссылки?
Ссылки. Хаб говорит прямо: карта помогает обнаружить, архитектура решает важность. URL, который есть только в XML и нигде не связан, остаётся сиротой и часто выпадает из обхода.
Нужно ли добавлять в карту все страницы фильтров и пагинации?
Нет. Индексируйте листинги со спросом. Мусорные комбинации раздувают файл и отбирают обход у денежных URL. Фильтры и пагинация — отдельные темы кластера, не содержимое карты «на всякий случай».
Почему карта принята в кабинете, а страниц нет в поиске?
Кабинет подтвердил, что XML читается. Индекс решается доступом, дублем и смыслом документа. Смотрите проверку URL и причины исключения, а не статус «sitemap без ошибок».