В последние несколько недель SEO-специалисты замечают сильный шторм в выдаче Яндекса.
Похоже, Яндекс изменил логику апдейтов. Исчезло классическое разделение индекса на новостной (80 часов ≈ 3 дня) и основной. Так считает Дмитрий Севальнев, совладелец и руководитель отдела SEO и рекламы «Пиксель Плюс».
Дмитрий Севальнев,
«Пиксель Плюс» Все SEO-специалисты знают, что апдейты в Яндексе случаются 1 раз в 3-4 дня и поисковая система «порциями» выкладывает новые документы в свою базу данных. А еще есть новостной бот, его называют «быстробот», он отвечает за индексацию свежих результатов. По крайней мере, именно так было «всегда», а новостной бот появился еще в далеком 2012 году.
Что изменилось?
Похоже, что больше нет классического разделения индекса на новостной (80 часов ≈ 3 дня) и основной, говорит Дмитрий.
Типичный путь нового URL, который был проиндексирован быстроботом Яндекса, был таким:
А типичный апдейт Яндекса с разбивкой документов на дату индексации выглядел следующим образом:
На скриншоте оранжевым прямоугольником выделены документы, которые относятся к новостной базе, далее идет «пропасть» в 1-3 дня. Документы, проиндексированные в эти даты, Яндексу как бы неизвестны.
Далее видно, что начиная с 28 декабря, идут документы, которые уже находятся в основном индексе поисковой системы.
Стоит также обратить внимание и на размер баз: новостная совсем «небольшая» – десятки или сотни тысяч страниц за сутки, а основная – десятки миллионов URL, отмечает Дмитрий.
На текущий момент (IV квартал 2020) ситуация кардинально изменилась:
- более нет «склейки» из нескольких дат с нулевым числом проиндексированных документов;
- количество URL, по которым осуществляется поиск за последние 3-5 дней, соизмеримо по количеству с другими датами – десятки миллионов.
Зачем внесены изменения?
Архитектура базы данных Яндекса была устаревшей относительно Google, который уже давно может включать URL в индекс по запросу, не дожидаясь текстового апдейта.
Это свойство базы данных Google получило название «непрерывный индекс». Фактически, новые документы просто дописывались в основную базу без дополнительной процедуры апдейта.
В беседах с представителями поисковой системы Яндекс проскакивала мысль, что этот успех важно повторить, но что это крайне сложная инженерная задача. Если она была успешно решена, то мы поздравляем коллег!
В конечном счете, данный подход позволит Яндексу повысить качество поиска за счет более быстрой индексации новых документов и отсутствия «пустого окна дат» (см. выше)», – говорит Дмитрий.
Быстрый поиск новостных результатов
В мае 2020 года SEO-эксперт Сергей Людкевич предложил способ «быстрого определения быстроботовской примеси». В частности, в мае 2020 новостные результаты проходили кворум даже по запросам со словами, которые полностью отсутствовали на странице, что говорило об особенном статусе этих документов.
На момент написания этой статьи указанное выше свойство у недавно проиндексированных документах – уже отсутствует. Что также указывает на сильные изменения, которые произошли в Яндексе», – утверждает Дмитрий.
Но исключить новостные результаты из ТОПа все же возможно – используя оператор «date» с указанием даты, например, на 3-7 дней ранее текущей.
Как это использовать специалистам?
Изменение не сильно коснется тех, кто ранее никогда не испытывал сложностей с индексацией своего сайт. Корректировки архитектуры БД могут быть крайне важны тем, кто:
- работает с новостными проектами и привлекает трафик по событийным запросам;
- устраняет сложности с индексацией крупных проектов.
Текущий перманентный шторм в Яндексе
Дмитрий не исключает, что текущий постоянный шторм в выдаче Яндекса связан, в том числе, и с новой архитектурой, а не только массовым применением алгоритма «Многоруких бандитов», который, в свою очередь, может использоваться и для поиска накрутчиков поведенческих метрик и применения нового фильтра.
Отметим, что эти и другие изменения от поисковых систем будут обсуждаться 18 ноября 2020 в секции «Тренды поискового маркетинга 2021» на конференции Optimization.