MUVERA: многовекторный алгоритм Google, повышающий скорость поиска

Рубрика: Теория и статистика | Время на чтение: 7 мин.

Google анонсировал новый многовекторный алгоритм поиска под названием MUVERA, который ускоряет поиск и ранжирование, а также повышает точность. Алгоритм может использоваться для органического поиска, рекомендательных систем (например, в YouTube) и для обработки естественного языка (NLP).

Хотя в объявлении не было прямо сказано, что он используется в поиске, в исследовательской статье ясно указано, что MUVERA обеспечивает эффективный мультивeкторный поиск в масштабах Интернета, в частности, благодаря совместимости с существующей инфраструктурой (через MIPS), сокращению задержки и объёма занимаемой памяти.

MUVERA: многовекторный алгоритм Google, повышающий скорость поиска

Рекомендация месяца: Как зарабатывать на криптовалюте – руководство для начинающих (от спотовой и фьючерсной торговли до стейкинга, пассивного дохода, участия в Launchpad/Launchpool, NFT и копитрейдинга).

Оглавление

Векторное встраивание в поиск

Векторное встраивание – это многомерное представление взаимосвязей между словами, темами и фразами. Оно позволяет роботам понимать сходство с помощью таких шаблонов, как слова, которые появляются в одном и том же контексте, или фразы, которые означают одно и то же. Связанные между собой слова и фразы занимают пространства, которые находятся ближе друг к другу.

Например:

Слова «Король Лир» будут близки к фразе «трагедия Шекспира».
Слова «Сон в летнюю ночь» будут занимать место рядом с «комедией Шекспира».
И «Король Лир», и «Сон в летнюю ночь» будут находиться в пространстве, близком к Шекспиру.

Расстояния между словами, фразами и концепциями (технически это математическая мера схожести) определяют, насколько тесно они связаны друг с другом. Эти шаблоны позволяют роботу делать выводы о сходствах между ними.

MUVERA решает проблему, присущую многовекторным вложениям

В исследовательской работе про MUVERA утверждается, что нейронные вложения являются характерной чертой информационного поиска на протяжении десяти лет, и приводится ссылка на исследовательскую работу по мультивeкторной модели ColBERT от 2020 года как на прорыв, но в ней говорится, что она страдает от проблемы, которая делает её менее чем идеальной.

«В последнее время, начиная с знаковой статьи ColBERT, мультивeкторные модели, которые генерируют набор вложений для каждой точки данных, продемонстрировали значительно более высокую эффективность при решении задач информационного поиска. К сожалению, использование этих моделей для информационного поиска требует значительных вычислительных затрат из-за повышенной сложности мультивeкторного поиска и оценки».

Анонс Google про MUVERA описывает эти недостатки так:

«… недавние достижения, в частности внедрение мультивeкторных моделей, таких как ColBERT, продемонстрировали значительное улучшение производительности в задачах информационного поиска. Хотя этот мультивeкторный подход повышает точность и позволяет извлекать более релевантные документы, он создаёт существенные вычислительные проблемы. В частности, увеличение количества вложений и сложность оценки мультивeкторного сходства значительно удорожают процесс извлечения».

Может ли MUVERA стать преемником технологии RankEmbed?

В результате антимонопольного иска Министерства юстиции США (DOJ) были представлены свидетельства, которые показали, что один из сигналов, используемых для создания страниц результатов поисковой системы (SERP), называется RankEmbed и описывается следующим образом:

«RankEmbed – это модель с двойным кодировщиком, которая встраивает как запрос, так и документ в пространство встраивания. Пространство встраивания учитывает семантические свойства запроса и документа в дополнение к другим сигналам. Поиск и ранжирование затем представляют собой скалярное произведение (измерение расстояния в пространстве встраивания)… Чрезвычайно быстрый; высокое качество при обычных запросах, но может плохо работать с редкими запросами…»

MUVERA – это техническое достижение, которое решает проблемы производительности и масштабируемости мультивeкторных систем, которые сами по себе являются шагом вперёд по сравнению с моделями с двумя кодировщиками (такими как RankEmbed), обеспечивая большую семантическую глубину и улучшенную производительность при обработке длинных запросов.

Прорывом стала технология под названием Fixed Dimensional Encoding (FDE), которая делит пространство встраивания на секции и объединяет векторы, попадающие в каждую секцию, для создания единого вектора фиксированной длины, что ускоряет поиск по сравнению с сопоставлением нескольких векторов. Это позволяет эффективно использовать мультивекторные модели в больших масштабах, повышая скорость поиска без ущерба для точности, которая достигается за счёт более богатого семантического представления.

В анонсе написано следующее:

«В отличие от одновекторных вложений, многовекторные модели представляют каждую точку данных набором вложений и используют более сложные функции подобия, которые могут отражать более полные отношения между точками данных.
Хотя этот многовекторный подход повышает точность и позволяет извлекать более релевантные документы, он создаёт существенные вычислительные проблемы. В частности, увеличение количества вложений и сложность оценки многовекторного подобия значительно удорожают процесс извлечения.
В статье «MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings» мы представляем новый алгоритм многовекторного поиска, разработанный для устранения разрыва в эффективности между одно- и многовекторным поиском.
…Этот новый подход позволяет нам использовать высокооптимизированные алгоритмы MIPS для поиска начального набора кандидатов, которые затем могут быть переранжированы с помощью точного многовекторного сходства, что обеспечивает эффективный многовекторный поиск без потери точности».

Многовекторные модели могут давать более точные ответы, чем модели с двойным кодировщиком, но эта точность достигается за счёт значительных вычислительных требований. MUVERA решает проблемы сложности многовекторных моделей, создавая тем самым способ достижения большей точности многовекторных подходов без высоких вычислительных требований.

Иллюстрация построения FDE запросов. Каждый токен (в данном примере представленный в виде слова) сопоставляется с высокоразмерным вектором (в примере для простоты представленным в виде 2-D). Высокоразмерное пространство случайным образом разбивается на части с помощью гиперплоскостей. Каждой части пространства назначается блок координат в выходном FDE, который устанавливается равным сумме координат векторов запроса, попадающих в эту часть.

Иллюстрация построения документов FDE. Построение аналогично построению запроса, за исключением того, что векторы, попадающие в заданный участок разбитого пространства, усредняются, а не суммируются, что точно отражает асимметричный характер сходства (Chamfer).

Что это значит для SEO?

MUVERA показывает, как современное ранжирование поиска всё больше зависит от оценки схожести, а не от устаревших сигналов ключевых слов, на которых часто сосредоточены SEO-инструменты и специалисты по поисковой оптимизации.

Таким образом стоит перенести своё внимание с соответствия ключевых слов на соответствие общему контексту и намерениям запроса. Например, когда кто-то ищет «вельветовые куртки мужские среднего размера», система, использующая поиск по типу MUVERA, с большей вероятностью проранжирует страницы, которые действительно предлагают эти продукты, а не страницы, которые просто упоминают «вельветовые куртки» и включают слово «средний» в попытке соответствовать запросу.

Источник информации: MUVERA: Making multi-vector retrieval as fast as single-vector search.