Техническое SEO: доступ поисковика к сайту

CDN

CDN — сеть точек присутствия между origin и клиентом: кэш статики, выше crawl rate Googlebot, не замена LCP и не кабинет Cloudflare.

Кирилл Бабийчук · обновлено · 5 мин чтения

CDN (Content Delivery Network / Content Distribution Network) — сеть узлов между вашим origin и клиентом: копия URL отдаётся с ближайшей точки присутствия, origin не считает каждый хит. Это не «ускорить сайт» как зонтик — соседняя скорость сайта — и не продуктовый кабинет Cloudflare (отдельный URL карты). Хаб — техническое SEO.

Яндекс в справке «Как сделать сайт быстрее» прямо советует CDN для картинок, JavaScript и CSS. Google Search Central (Crawling December, 24 декабря 2024): CDN режет RTT, снимает нагрузку с origin и может поднять порог троттлинга Googlebot — инфраструктура узнаёт CDN по IP ответа. Первый запрос каждого URL всё равно идёт на origin: кэш холодный. Миллион новых карточек за день origin отдаст миллион раз, даже если «CDN включён».

Что CDN делает для поиска, а что притворяется

Слой Что реально меняется Чего не закрывает
Статика с хешем в имени PoP отдаёт CSS/JS/картинку без origin; браузер рядом с узлом Героя, которого нет в первом HTML — соседний LCP
HTML с коротким s-maxage Край держит документ, origin не собирает его на каждый хит Персональную витрину: Cache-Control: private / no-store на кабинет и корзину
Crawl rate Googlebot реже душит, если видит IP CDN Прогрев: первый обход URL = удар в origin
Отдельный хост cdn.example.com WRS может качать ресурсы параллельно с другого имени Лишнее TLS-соединение на критический CSS/hero; Google пишет: можно и apex, и поддомен, и оба
WAF / «я человек?» Режет флуд Поиск, если челлендж видит Googlebot

Кэш на крае и кэш в браузере — разные TTL. Для прокси обычно s-maxage, для браузера — max-age. HTML: короткий срок на крае плюс фоновая ревалидация (stale-while-revalidate), плюс purge URL из админки при смене цены или текста. Статика с content-hash в имени может жить год. Глубина HTTP-кэша (ETag, 304, Last-Modified) — planned URL «Кэширование»; Googlebot с декабря 2024 явно просит ETag и 304 без тела, чтобы не качать неизменный документ. Здесь — кто отвечает: PoP или origin.

TTFB падает, когда HTML уже на крае рядом с человеком. Если origin собирает документ 900 мс, CDN быстро привезёт эти 900 мс — соседний TTFB. INP от PoP почти не двигается: жест считает главный поток вкладки, не RTT картинки. Редирект http→https через два PoP — снова цепочка, её сжимают отдельно.

Когда край закрывает робота

Search Central делит вредные ответы CDN на жёсткие и мягкие. Жёсткие: 503/429 (так и надо сигналить временный блок — URL не выкидывают сразу), сетевой таймаут (считается терминальной ошибкой, URL могут снять, crawl rate падает), случайная страница ошибки с HTTP 200 (soft 404 или пачка дублей одной заглушки — вылезать дольше). Мягкие: interstitial «подтвердите, что вы человек». Googlebot не человек и видит только плашку. Для автоклиентов просят тот же 503, не 200 с капчей.

Проверка: инструмент проверки URL в Search Console, картинка отрисовки. Своя страница — ок. Пусто, ошибка, челлендж — править WAF, не «ещё один кэш». Списки IP Googlebot публикуют; диапазоны могут попасть в блоклист сами, без тикета. Яндекс в Вебмастере смотрит обход и скорость обхода отдельно: CDN не заменяет allowlist робота и не подменяет robots.txt. Origin-контракт документа — JavaScript SEO: если край отдаёт оболочку CSR, робот получает её же быстрее, не «готовый HTML».

CDN полезен поиску, когда PoP отдаёт тот же канонический документ, что origin, а WAF не кормит робота заглушкой с кодом 200.

На денежных шаблонах сначала решают, что кэшируют: hashed-статику почти всегда, HTML витрины — только если purge по событию работает. Челлендж на Googlebot / роботе Яндекса — дыра доступа, постановка SEO-аудита сайта, не настройка TTL. Продуктовые тумблеры одного вендора (оранжевое облако, «подключить всё») — следующий H1 карты, не этот.

Ограничение. Нет замера «CDN даёт +N позиций в РФ» — не выдумываем. Нет обещания доли cache hit. Пример 4,2 Тбит/с DDoS 21 октября 2024 Google привёл как иллюстрацию защиты края, не как аргумент выбрать конкретного вендора. Не путайте hostname CDN с каноникалом HTML: каноникал остаётся на origin-URL документа.

Частые вопросы

CDN автоматически улучшает LCP?

Нет. PoP укорачивает качку уже известного ресурса. Если URL героя браузер узнаёт после JS или его нет в первом HTML, CDN привезёт поздний файл. Сначала герой в ответе origin, потом кэш края.

Googlebot ходит в CDN или сразу на origin?

В тот хост, который в DNS для URL. Если apex за CDN — Googlebot бьёт в край. Кэш холодный — край сходит на origin. Инфраструктура может поднять crawl rate, увидев IP CDN, но первый обход каждого нового URL origin всё равно обслуживает.

Можно ли кэшировать HTML интернет-магазина на сутки?

Только если цена, наличие и персональные блоки не в этом HTML или вы готовы отдавать вчерашнюю карточку. Иначе короткий s-maxage, stale-while-revalidate и purge URL из админки. Корзину и кабинет — private / no-store.

Капча CDN на роботе — это временно и безопасно?

Нет, если ответ 200 с текстом «я человек?». Googlebot индексирует заглушку или склеивает такие URL как дубли. Для временного блока нужен 503/429, не красивая страница с кодом успеха.