Разделы

Интернет Интернет-ПО

Google представила крупнейшее за пять лет обновление поисковой выдачи

Google представила крупнейшее за пять лет обновление алгоритмов работы Google Поиска за последние пять лет. Технология предварительного обучения обработке текста на естественном языке BERT теперь доступна и на русском языке. Она анализирует не отдельные слова, а запросы целиком, позволяя лучше понимать контекст запросов и точнее находить для них ответ.

Система обработки текста на естественном языке BERT была впервые представлена в 2018 году. Машинное обучение позволило существенно усовершенствовать понимание поисковых запросов — теперь системы Поиска анализируют не отдельные ключевые слова, а фразы целиком и общий контекст запросов. Внедрение BERT в Поиск на английском языке началось в октябре 2019 года. С этого месяца технология начнет работать для поисковых запросов на русском языке.

В прошлом году в открытом доступе была представлена технология предварительного обучения обработке текста на естественном языке (NLP), разработанная на базе нейронных сетей под названием BERT (Bidirectional Encoder Representations from Transformers). С ее помощью каждый может обучить собственную современную вопросно-ответную систему.

Этот прорыв произошел благодаря изучению трансформеров — моделей, которые обрабатывают слова не как последовательность разрозненных языковых единиц, а учитывают в предложении взаимодействие слов друг с другом. Поэтому модели BERT могут обрабатывать не только отдельные слова, но и понимать контекст, в котором они употребляются. Это особенно важно для понимания истинного смысла поисковых запросов.

Некоторые модели, которые можно создать с помощью BERT, настолько сложные, что имеющееся в распоряжении оборудование с ними не справлялось. Поэтому в компании стали использовать тензорные процессоры (TPU), с помощью которых можно быстро подобрать для пользователя более актуальную информацию. Если говорить о стандартных описаниях, то BERT помогает Google Поиску лучше понимать каждый десятый англоязычный запрос в США.

В основном Google Поиск станет эффективнее для длинных и разговорных запросов, а также запросов с предлогами. Теперь поисковая система будет лучше понимать контекст и показывать соответствующие результаты, а значит вы сможете использовать более естественные запросы.

Чтобы Google Поиском было удобнее пользоваться, BERT используется не только для английского, но и для других языков, в том числе и для русского. Системы хороши тем, что могут применить принципы, которым обучились на одном языке, к другим.

Владимир Бахур