Техническое SEO: доступ поисковика к сайту

Cloudflare и SEO

Cloudflare и SEO — оранжевое облако, Bot Fight, Flexible SSL и Under Attack: продукт, не общая страница CDN.

Кирилл Бабийчук · обновлено · 4 мин чтения

Cloudflare и SEO — это кабинет зоны: оранжевое облако (прокси), Bot Fight Mode, Encryption Mode, Under Attack, Rocket Loader, Crawler Hints. Это не общая сеть доставки: соседний CDN про PoP и crawl rate любого края. Хаб — техническое SEO.

Серое облако в DNS = только NS, запросов через Cloudflare нет, тумблеры зоны на индекс не влияют. Оранжевое — Googlebot и робот Яндекса бьют в край Cloudflare; origin видит IP Cloudflare, не IP робота. Проверка «это Googlebot» по IP origin без восстановления заголовков врёт. Search Central (декабрь 2024) прямо пишет: WAF CDN может скормить роботу 503, таймаут или заглушку с 200 — последнее хуже всего. Cloudflare Radar держит Googlebot, Bingbot и YandexBot в Verified Bots (cf.client.bot).

Какие тумблеры ломают обход

Тумблер Что делает Риск для поиска
Bot Fight Mode (Free) Дорогие JS-челленджи на «известных ботах», весь домен, без endpoint Не крутится на Ruleset Engine: Skip/Bypass/Allow кастомных WAF-правил его не обходят. Нужен Super Bot Fight (Pro+) с исключениями или выключить
I’m Under Attack Interstitial «Checking your browser…», JS+cookie, last resort Документация: для живого человека ~5 с, поисковых роботов обещают щадить. PSI, Lighthouse и не-verified UA часто ловят плашку. Не держать постоянно
SSL Flexible Посетитель→CF по HTTPS, CF→origin по HTTP Google видит HTTPS-URL края. Origin без TLS. Смешанный контент, если ассеты с http. Переход Flexible→Full меняет cache key (схема origin)
Full без strict HTTPS до origin, сертификат не проверяют Самоподписанный origin ок, MITM до origin возможен. Для SEO важнее, что каноникал и Mixed Content закрыты
Full (strict) HTTPS + валидный origin cert (публичный CA или Origin CA) Режим, который Cloudflare рекомендует. Протухший cert origin = 526, это уже сбой индекса
Rocket Loader Откладывает весь JS до после отрисовки, нестандартные теги Ломает jQuery/инлайн, CSP надо расширять. WRS видит переписанный HTML. При странностях рендера — выключить и смотреть JavaScript SEO
Email Obfuscation Включают при регистрации; подменяет mailto, инжектит email-decode.min.js Робот не видит сырой email в HTML. Для визитки ок, для контента «напишите на …» — нет

Справка Cloudflare «Improve SEO»: контент важнее тумблеров; из кабинета — скорость, HTTPS, Crawler Hints; если индекс просел — проверить, что Verified Bots не режут WAF, rate limit и bot protection. Правило-образец: cf.client.bot → Skip. IP Access rule, сработавшая раньше Bot Fight, его глушит; кастомный WAF — нет.

Crawler Hints (все планы): по CF-Cache-Status: MISS шлют сигнал в IndexNow, что URL, вероятно, изменился; ответы с кодом ≥400 не шлют. Это пинг свежести, не фактор ранжирования Google. APO (Automatic Platform Optimization) для WordPress кэширует HTML на крае: живой набор заголовков CF-Cache-Status: HIT, cf-apo-via, cf-edge-cache: cache,platform=wordpress. Мультисайт плагин APO не поддерживает. С WP Rocket / W3TC Cloudflare просит сначала выключить чужой кэш HTML, иначе два слоя дерутся. Purge по публикации — иначе робот ест вчерашнюю карточку, как в общем CDN.

Оранжевое облако полезно поиску, пока Verified Bots видят тот же канонический HTML, что человек после cookie, а Flexible не прячет http-origin за замком.

Проверка: инструмент URL в Search Console (картинка отрисовки), ответ без челленджа, curl -A Googlebot сверяют с браузером только после того, как поняли: curl без JS не проходит Under Attack. Дыра доступа плюс край — постановка SEO-аудита сайта. Соседи по метрикам: TTFB, LCP, зонтик скорость сайта. HTTPS как протокол документа — HTTPS, не режим Flexible.

Ограничение. Нет замера «оранжевое облако даёт +N позиций». Нет обещания, что Under Attack всегда щадит PSI. Cloudflare пишет, что режим «не повредит SEO»; полевые тикеты 2025 года показывают обратное для не-verified клиентов. Не путайте pause Cloudflare (серый DNS) с Development Mode (только обход кэша).

Частые вопросы

Bot Fight Mode можно обойти правилом «разрешить Googlebot»?

Нет. Документация Cloudflare: продукт не на Ruleset Engine, Skip кастомного WAF его не касается. Исключения — Super Bot Fight Mode или выключить Bot Fight. IP Access, сработавший первым, может не дать Bot Fight стартануть.

Flexible SSL достаточен для Google?

Посетитель и робот видят HTTPS края, origin может оставаться на http. Это не Full (strict). Смешанный контент и редирект-петли ловят чаще, чем «нет замка». Для каноникала нужен один живой HTTPS-URL без цепочки через http origin.

Under Attack Mode можно держать всегда «на всякий случай»?

Нет. Это last resort: interstitial с JS, пауза доступа, ломает стороннюю аналитику. Постоянный режим — риск плашки для PSI и любых клиентов не из Verified Bots. После атаки выключают.

Crawler Hints заменяет sitemap?

Нет. Это сигнал IndexNow по cache MISS, что URL мог измениться. Карта URL и lastmod остаются в sitemap.xml. Пинг не ранжирует документ.