Раздел базы знаний

Техническое SEO: доступ поисковика к сайту

Техническое SEO отвечает, может ли робот работать с сайтом: индекс, дубли, редиректы, JavaScript и скорость важнее споров о Title.

Кирилл Бабийчук · обновлено · 3 мин чтения

Техническое SEO отвечает на вопрос, может ли поисковик работать с сайтом. Контент без доступа — черновик. Хаб закрывает слой «доступ»: robots, sitemap, canonical, редиректы, коды ответа, дубли, фасеты, JavaScript-рендеринг, Core Web Vitals, CDN, индексные директивы, hreflang, mobile-first.

Правило редакции: не спорить о Title, пока каноникал смотрит в себя на тысячах фильтров. Приоритет аудита — ущерб индексу и деньгам, не длина PDF. Практический вход — SEO-аудит, однодневный порядок — аудит за день, стратегия — руководство по SEO.

  1. Зафиксируйте зеркало: https, хост, слэш. Остальное — 301. Страница про 301 редирект.
  2. Прочитайте robots.txt: не закрыт ли раздел услуг, не открыты ли фильтры, которые должны быть закрыты.
  3. Сверьте sitemap.xml с индексом в Вебмастере и Search Console. Карта помогает обнаружить. Внутренние ссылки решают, что важно.
  4. Проверьте canonical на листингах, пагинации, параметрах. Самоканоникал на каждую комбинацию фильтра — дыра бюджета обхода.
  5. Пройдите иерархию: главная → раздел → сущность. Услуга только в футере для робота почти не существует.
  6. Посмотрите HTML без клика: оффер, цена, ссылки. CSR без доступного контента для бота — риск. SSR — один из способов, не религия.
  7. Снимите LCP, CLS, INP, TTFB на денежных URL. На мобильном тяжёлый герой-баннер часто важнее ещё одного абзаца.

Где сайты убивают себя сами

Интернет-магазины чаще убивают себя фасетной навигацией, а не отсутствием блога. Pagination, сортировки, UTM в индексе, зеркала www/https — типовой контур. Мост на SEO магазина. WordPress-специфика — плагины кэша, кривые редиректы, раздутый HTML — вынесена в WordPress SEO. На ISPmanager отдельно смотрю gzip, HTTP/2, сертификат и срок жизни кэша: бот и человек не должны получать разный главный документ.

Скорость — потолок для конкурентных кластеров, не фетиш баллов. Карточка 2ГИС скорость сайта не спасёт, если LCP три секунды и кнопка «позвонить» прыгает. Маркетплейс живёт своими карточками WB/Ozon, но собственный домен с фильтрами в индексе всё равно надо гигиенически закрыть, иначе бюджет обхода сгорит впустую.

После починки не запускайте сразу контент-план на 40 URL. Переобход денежных страниц, сверка каноникала, цели в Метрике. Если робот начал ходить, а заявок нет — это уже коммерция и смысл, не техничка. Слой доступа закрыт, когда зеркала мертвы, фасеты не в индексе, внутренние ссылки ведут к сущностям, LCP на ключевых шаблонах не стыдно показать разработчику.

Как сдавать техничку заказчику. Три дефекта с URL, скрином кода ответа и формулировкой «что ломает индекс или деньги». Не слайд «рекомендуем улучшить Core Web Vitals». Если на ISPmanager висит и http, и https — это первый пункт. Если sitemap содержит сортировки — второй. Если меню рисуется скриптом и в исходном HTML нет обычных ссылок — третий. После фикса — переобход в Вебмастере и сверка покрытия в Search Console. Только тогда открывается контентный бэклог.

Техничка не заканчивается. После каждой выкладки каталога или смены фильтра проверяйте, не открылся ли новый узкий URL в индексе. Один забытый параметр «?sort=price» возвращает ту же дыру через неделю.

В кластере: 302 редирект.

В кластере: 404 ошибки.

В кластере: 410 Gone.

В кластере: Цепочки редиректов.

В кластере: HTTPS.

В кластере: www и non-www.

В кластере: Дубли страниц.

В кластере: Параметры URL.

В кластере: Pagination.

В кластере: Faceted navigation.

В кластере: JavaScript SEO.

В кластере: SSR.

В кластере: CSR.

В кластере: Рендеринг для поисковиков.

В кластере: LCP.

В кластере: CLS.

В кластере: INP.

В кластере: TTFB.

В кластере: Скорость сайта.

В кластере: CDN.

В кластере: Cloudflare и SEO.

Опубликовано в кластере

301 редирект

301 — постоянный перенос адреса одним прыжком на эквивалентный документ: на главную битые URL не склеивают, живые дубли закрывает canonical, акцию на…

302 редирект

302 — временный перенос с возвратом старого URL: чем он не 301, когда браузер кэширует слабее и почему «пока понаблюдаем» ломает переезд…

404 ошибки

HTTP 404 — код «этого URL нет»: когда его отдавать, чем он отличается от ложного 200 и 301 на главную, и какие…

410 Gone

HTTP 410 Gone — код «этого URL не будет»: чем он отличается от 404, почему Google сейчас равняет их, и когда честнее…

Canonical URL

Canonical называет предпочтительный URL среди копий: один абсолютный тег и 200 на мастере; переезд хоста делает 301, карта сайта дубли не склеивает.

CDN

CDN — сеть точек присутствия между origin и клиентом: кэш статики, выше crawl rate Googlebot, не замена LCP и не кабинет Cloudflare.

Cloudflare и SEO

Cloudflare и SEO — оранжевое облако, Bot Fight, Flexible SSL и Under Attack: продукт, не общая страница CDN.

CLS

CLS — самая большая вспышка неожиданных сдвигов вёрстки за жизнь страницы: окно 5 с, порог 0,1 на 75-м процентиле CrUX.

CSR

CSR — документ собирается в браузере: поиск видит оболочку, пока не отработает WRS или рендеринг JavaScript в Яндексе.

Faceted navigation

Faceted navigation — независимые фильтры, которые рождают комбинаторное пространство URL: Google либо не пускает краулер, либо требует конечный граф с 404 на…

HTTPS

HTTPS для поиска — другой URL того же пути: Google предпочитает индексировать HTTPS, Яндекс клеит главный адрес через «Переезд сайта», а сертификат…

INP

INP — задержка от клика, тапа или клавиши до следующего кадра: ≤200 мс на 75-м процентиле CrUX, не FID и не отчёт…

JavaScript SEO

JavaScript SEO на origin — что отдаёт первый HTML до исполнения скриптов: Google ставит URL в очередь WRS, Яндекс решает рендер в…

LCP

LCP — время до отрисовки самого крупного блока во вьюпорте: 2,5 с на 75-м процентиле CrUX, не балл Lighthouse и не отчёт…

Pagination

Pagination — нумерованная последовательность URL одного списка: каждая копия со своим адресом и каноникалом на себя; rel=prev/next Google снял в 2019-м, Яндекс…

robots.txt

robots.txt говорит краулеру, куда ходить; Disallow не снимает URL из индекса и на проде легко выключает весь сайт.

sitemap.xml

sitemap.xml помогает роботу обнаружить канонические URL, но не индексирует их и не заменяет внутренние ссылки.

SSR

SSR — HTML документа собирается на сервере до ответа: Google и Яндекс читают его без очереди рендера и без тумблера β.

TTFB

TTFB — время от старта навигации до первого байта HTML: диагностический кусок LCP, не Core Web Vital и не отчёт «скорость сайта».

www и non-www

www и apex — два хоста одного сайта: Google больше не даёт галочку «предпочитаемый домен», Яндекс клеит главный адрес группы, склейка —…

Дубли страниц

Технический дубль — один документ на нескольких URL: Google склеивает каноникал, Яндекс собирает группу дублей, а разные H1 на один запрос —…

Параметры URL

Параметры URL — query после «?»: одни меняют документ, другие только метят клик; у Google кабинета больше нет, у Яндекса остались Clean-param…

Рендеринг для поисковиков

Рендеринг для поисковиков — как Google и Яндекс получают документ URL: из первого HTML или после JS, и какой режим выбрать.

Скорость сайта

Скорость сайта в SEO — карта кабинетов и метрик, а не одно число PSI, не LCP и не достижение Вебмастера.

Цепочки редиректов

Цепочка редиректов — несколько 3xx подряд до финального 200: лимит hops Google, как Яндекс берёт цель, и почему зеркало http/www/слеш надо склеить…