Техническое SEO: доступ поисковика к сайту

sitemap.xml

sitemap.xml помогает роботу обнаружить канонические URL, но не индексирует их и не заменяет внутренние ссылки.

Кирилл Бабийчук · обновлено · 4 мин чтения

Карта сайта — список адресов, которые вы считаете документами и хотите отдать на обнаружение. robots.txt говорит, куда ходить нельзя. Внутренние ссылки говорят, что URL важен. Хаб технического SEO уже фиксирует приоритет: ссылки важнее карты. Файл в корне не поднимает позиции и не обещает индекс. Базовые запреты — в robots.txt. Отправка в Яндекс — в Вебмастере, плюс Search Console, а не «положили и забыли».

Что файл умеет и чего не умеет

Задача sitemap.xml Чем закрывать иначе
Сообщить о канонических денежных URL Да, если файл доступен и свежий Плюс ссылки с живых страниц
Попасть в индекс Нет Доступ, смысл, отсутствие дубля
Закрыть URL от индекса Нет: наличие в карте путает при noindex noindex / снятие в кабинете
Передать каноникал Нет: в карте уже должен быть канонический адрес rel=canonical и редирект зеркал
Не кормить обход мусором Да, если мусора в файле нет robots.txt на корзину, поиск, фильтры
Поднять позиции Нет Документ и спрос

Директива Sitemap в robots.txt — подсказка, где лежит файл. Если в robots закрыт URL, который торчит в карте, вы спорите сами с собой.

Что класть, что выкидывать

  • Канонические посадки, категории и карточки со спросом. Не все комбинации фильтров «на всякий случай».
  • Не кладите noindex, мягкий 404, редирект и сортировки. Карта — не выгрузка базы.
  • lastmod — только честная дата изменения документа. Вечный «сегодня» на всём каталоге робот перестаёт уважать.
  • Пока URL помещаются в один файл, не режьте карту на индекс: робот может скачать индекс и не открыть вложенные списки.
  • Один хост — одна каноническая карта. Sitemap на www при каноникале без www повторяет ошибку зеркала.

Карта помогает найти URL. Ссылка говорит, что он важен. Индекс решает, нужен ли документ. «Добавили sitemap — ждём топ» эти три действия не склеивает.

После выкладки на прод

  1. Откройте XML с канонического хоста и схемы. Редирект карты на другое зеркало ломает чтение.
  2. Сверьте 20 денежных URL: они в карте, отдают 200, не закрыты в robots, каноникал смотрит в себя.
  3. Ошибки в Вебмастере и Search Console чините в XML, не текстом на главной.
  4. Смену дерева каталога обновляйте в том же спринте, что редиректы.
  5. Сироту карта не лечит насовсем: добавьте ссылку с живого родителя или не индексируйте URL.

Плагин, который «подключил sitemap», техничку не закрыл. Если доступ дырявый — SEO-аудит сайта. Рамка — SEO.

Индексируйте листинги со спросом. Мусорные комбинации фильтров раздувают файл и отбирают обход у денежных URL: карта «на всякий случай» хуже короткого списка канонических посадок.

Лимиты размера смотрите в текущей справке робота: Google и Яндекс читают пересекающееся ядро, не копию друг друга. HTML-карта для людей на этой странице не разбирается.

Частые вопросы

Что важнее — карта сайта или внутренние ссылки?

Ссылки. URL, который есть только в XML и нигде не связан, остаётся сиротой и часто выпадает из обхода.

Почему карта принята в кабинете, а страниц нет в поиске?

Кабинет подтвердил, что XML читается. Индекс решается доступом, дублем и смыслом. Смотрите проверку URL и причины исключения, не статус «sitemap без ошибок».

Почему один urlset надёжнее индекса

Индекс карт — файл, в котором только ссылки на другие XML. Яндекс может скачать индекс и не запросить детей. На этом домене так и было: /wp-sitemap.xml открывали, wp-sitemap-posts-page-1.xml — нет. Пока список URL не прочитан, кабинет «знает сайт», а материалы в очередь не попадают.

Пока URL меньше лимита одного файла, отдавайте один urlset без stylesheet и без редиректа на индекс. lastmod — дата правки документа, не сегодняшний день на всех строках. Вложенный индекс имеет смысл, когда файл упирается в лимит, и после выкладки нужно в логах увидеть запрос каждого дочернего XML.

Требования Яндекса к адресу файла: Sitemap в Вебмастере. Обзор Google, чем карта не является: sitemaps overview.