Текстовая релевантность в Яндексе — это оценка, содержит ли документ ответ на запрос, а не число вхождений и не список «LSI-слов». Саша Готманов (группа нейросетевых технологий поиска) на YaC 2020 и в статье на Хабре формулирует задачу так: предсказать семантическую связь запроса и веб-страницы. Это не карта именованных систем — она на алгоритмах Яндекса. Не ремесло ярлыка задачи из ключевых слов, не метод SVD из LSI и не общий слой NLP. Хаб — Яндекс SEO. Как выглядит экран — Яндекс Поиск.
До 2016 года, пишет та же статья, поиск опирался на эвристики: общие слова, IDF, расстояния между вхождениями, расширения запроса синонимами и «стримы» документа — анкоры входящих ссылок и формулировки, по которым URL уже кликали. Тысячи таких признаков сходятся в итоговую модель на CatBoost. Ощущение «понимает смысл» возникало из статистики, не из чтения абзаца.
Как Яндекс приближает смысл, а не считает ключ
2016: «Палех» — feed-forward сеть, текст как мешок слов, порядок почти теряется; хорошо работает на коротких текстах, исторически сильнее на связке запрос–заголовок. 2017: «Королёв» — векторы страниц считают заранее офлайн, чтобы сравнить с вектором запроса больше документов. YaC 2020: трансформер в ранжировании, в индустрии его называют YATI (Yet Another Transformer with Improvements). В статье группы поиска: это самое заметное событие в поиске за десять лет после MatrixNet; Палех и Королёв вместе дали меньше; если выключить тысячи прочих факторов и оставить только новую модель, офлайн-качество падает на 4–5%.
Трансформер держит каждый токен отдельным вектором и механизмом внимания. Пример из той же статьи: по запросу [купить кофеварку] сеть может усилить фрагмент карточки про нужную модель и ослабить соседние блоки. Значит релевантность — не «ключ в каждом абзаце», а есть ли на URL место, где задача закрывается языком запроса. Длинная портянка без такого места модель не спасает. Короткий абзац с ценой, условием и ответом — может.
Учили сеть сначала на «алгоритме переформулировок»: человек уточняет запрос, пока не найдёт документ. Затем дообучали на экспертных оценках связи запрос–документ, в том числе в узких темах. Это transfer learning, не повод покупать «нейроядро». Списки близких слов как замена текста — соседний миф LSI, сюда его не тащим.
Релевантность в Проксиме — и где она кончается
Справка «Как измеряется качество Поиска» (обновлена 22 марта 2024): выдача полностью машинно-обученная, вручную порядок URL не двигают. Асессоры размечают варианты; их оценки не ранжируют сайт напрямую, а учат алгоритмы. Из оценок и других сигналов собирают Проксиму. В списке аспектов первым стоит релевантность страницы запросу, в том числе экспертные оценки в сложных областях. Дальше — вероятность решить задачу на странице и сайте, качество и оригинальность, баланс полезного и навязчивого, дополнительные сигналы в медицине, праве и финансах, удобство чтения.
Рядом живёт Профицит: насколько быстро вся выдача закрыла задачу. Переформулировка запроса метрику уменьшает. Успех может быть и без клика — человек прочитал фактовый ответ и не вернулся. Текстовая релевантность вашего URL — один вход в эту систему, не KPI «нас похвалил асессор». Именованные волны и Проксима/Профицит как карта систем остаются на странице алгоритмов.
| Слой | Что оценивает | Чего нельзя обещать |
|---|---|---|
| Эвристики совпадений | Общие слова, расстояние, стримы, расширения | Что плотность ключа = текстовая релевантность 2026 |
| YATI / трансформер | Смысловая связь запроса и фрагментов документа | Что «нейросеть любит воду». Внимание ищет ответ, не объём |
| Проксима | Релевантность запросу среди прочих качеств страницы | Что оценка асессора сразу двигает ваш URL |
| Кабинет «SEO-тексты» | Запросный спам, переоптимизация, скрытый текст | Что любая услуга с ключом в H1 — нарушение. Уместные меню и прайсы справка исключает |
Что чинить на URL, если смысл не склеился
Снимите запрос и страницу глазами асессора: можно ли закончить задачу, не добирая смысл из title. Если ответ спрятан под тремя экранами «о компании» — модель может не найти фрагмент, на который смотреть. Если ответ есть, но формулировка задачи ни разу не названа человеческим языком, эвристики и стримы слабее помогают трансформеру. Если задача названа двадцать раз и не решена — это уже семья «SEO-текстов».
Справка Вебмастера «Использование SEO-текстов» относит к нарушению тексты без дополнительной ценности, зато заточенные под робота. Три семьи: запросный спам (простыни запросов и бессвязная каша), переоптимизация (лишние повторы и раздутый объём без задачи читателя), скрытый текст (белый по белому, микрошрифт, display: none, сдвиг за экран). Не нарушение: умеренное облако тегов для навигации; меню, каталог, прайс; стандарты и законы, где повтор — норма языка; скрытие куска с возможностью раскрыть. Именованный алгоритм переоптимизации — Баден-Баден. Малополезность без «ключа в каждом предложении» — МПК. Как писать документ, который стыдно не отдать клиенту, — SEO-тексты.
Не лечите просадку «ещё LSI» и не копируйте H1 кластера контента. Ключ остаётся ярлыком задачи на одном URL. Если нужен подрядчик на сам контур, а не разбор релевантности, это SEO-продвижение.
Частые вопросы
Текстовая релевантность в Яндексе — это плотность ключевых слов?
Нет. Это предсказание, есть ли в документе ответ на запрос. Совпадение слов — старый эвристический слой. Трансформер 2020 года смотрит смысл фрагментов. Плотность без задачи ближе к кабинетному нарушению «SEO-тексты», чем к релевантности.
YATI заменил все остальные факторы?
Нет. В статье группы поиска: если оставить только новую модель, офлайн-качество падает на несколько процентов. Тысячи признаков и CatBoost никуда не делись. YATI сильнее приближает смысловую связь, не отменяет коммерцию, регион и поведение.
Нужно ли писать длиннее, чтобы трансформер «нашёл смысл»?
Нет. Внимание ищет фрагмент, который закрывает запрос. Объём без ответа справка называет переоптимизацией: искусственно раздутый текст, который не решает задачу читателя.
Это то же самое, что NLP или LSI?
Нет. LSI — метод 1980-х про матрицу терминов. NLP на сайте — общий языковой слой поиска. Этот H1 — как Яндекс склеивает конкретный запрос с конкретным URL и где кабинет наказывает текст для робота.