BERT – новый поисковый алгоритм Google: что это и как работает | IM

Google анонсировал запуск нового поискового алгоритма — BERT. Разбираемся, что о нём известно и как она будет работать.

Если кратко, то по замыслу разработчиков, новый алгоритм поможет поисковой системе лучше понимать, что на самом деле искал пользователь.

Что такое BERT и как он будет работать

С помощью технологии BERT (Bidirectional Encoder Representations from Transformers — NLP на базе нейронных сетей) результаты поисковой выдачи станут более осмысленными, приближенными к тому, что на самом деле хотел узнать пользователь. Теперь слова и фразы в запросе пользователя будут обрабатывают с учётом контекста, не по порядку, как раньше. Уже сегодня поиск новый поисковый алгоритм помогает лучше понять каждый десятый запрос в США на английском языке. Позже, BERT будет локализован и начнёт работать на других языках.

Если говорить про англоязычные сегмент поиска, то не нужно будет подбирать запрос специально — алгоритм будет понимать смысл запроса даже в длинной фразе со множеством предлогов типа [for] и [to], иногда радикально меняющих смысл фразы.

Например, поиск [2019 brazil traveler to usa need a visa] («2019 бразильскому путешественнику в сша нужна виза»). Здесь [to] и его связь с другими словами в запросе особенно важны для понимания смысла. Речь идёт о путешествии бразильца в США, а не наоборот. Раньше алгоритм не видел этой связи, и в выдачу попадали материалы о гражданах США, путешествующих в Бразилию. С помощью BERT поиск предоставит более релевантный результат для этого запроса.

BERT – новый поисковый алгоритм Google: что это и как работает | IM

Давайте посмотрим на другой запрос: [do estheticians stand a lot at work]. Раньше термин «автономный» воспринимался как слово «стоять» (stand). BERT всё поймёт правильно:

BERT – новый поисковый алгоритм Google: что это и как работает | IM

Вот ещё несколько примеров, когда BERT словит нюансы языка там, где компьютеры не воспринимают текст как люди.

Только с появлением BERT [for someone] стало важной смысловой частью этого запроса:

BERT – новый поисковый алгоритм Google: что это и как работает | IM

Раньше при поиске вообще игнорировали слово [no], не понимая, насколько оно важно для правильного ответа:

BERT – новый поисковый алгоритм Google: что это и как работает | IM

BERT выбирает более полезный результат именно для взрослой категории пользователей:

BERT – новый поисковый алгоритм Google: что это и как работает | IM

Понимание языка останется вечной проблемой, а значит совершенствовать Поиск придётся бесконечно. Конечно, лучше не испытывать BERT запросом [what state is south of Nebraska] («какой штат находится к югу от Небраски») — скорее всего, она выдаст [South Nebraska] («Южная Небраска»). Хотя очевидно, что это Канзас :–) Тем не менее модели, обучаемые на английском, уже пытаются применить к другим языкам. И даже успели получить ощутимый эффект на таких языках, как корейский, хинди и португальский.

Читайте также:

  • Поведенческие факторы ранжирования сайта
  • Атрибуты Alt и Title для картинок
  • H1 и Title — делать одинаковыми или разными
По материалам: internet-marketings.ru