Семантический поиск

Семантический поиск — это метод поиска данных, основанный на намерении и контекстуальном значении запроса, а не на соответствии по ключевым словам (лексический поиск).

Elasticsearch предоставляет различные возможности семантического поиска, используя обработку естественного языка (NLP) и поиск по векторам. Использование модели NLP позволяет извлекать векторные представления текста. Векторные представления — это векторы, которые предоставляют числовое представление текста. Фрагменты контента с похожим значением имеют похожие представления.

У вас есть несколько вариантов использования моделей NLP в Elastic Stack:

Обратитесь к этому разделу, чтобы выбрать свой поток.

Вы также можете хранить собственные векторные представления в Elasticsearch в качестве векторов. Обратитесь к этому разделу для получения руководства по тому, какой тип запроса использовать для семантического поиска.

При выполнении запроса Elasticsearch может использовать ту же модель NLP для преобразования запроса в векторные представления, позволяя находить документы с похожими векторными представлениями текста.

Самый простой способ использования моделей NLP в Elastic Stack — это semantic_text поток. Мы рекомендуем использовать этот подход, так как он абстрагирует от большого объёма ручного труда. Всё, что вам нужно сделать, это создать конечную точку инференции и отображение индекса, чтобы начать загрузку, создание векторных представлений и поиск данных. Нет необходимости определять параметры, связанные с моделью, или создавать конвейеры инжеста инференции. Обратитесь к документации Создание конечной точки API инференции для получения списка поддерживаемых сервисов.

Учебник по семантическому поиску с semantic_text показывает весь процесс.

Поток API инференции более сложен, но предоставляет больший контроль над конфигурацией конечной точки инференции. Вам нужно создать конечную точку инференции, предоставить различные параметры, связанные с моделью, определить отображение индекса и настроить конвейер инжеста инференции с соответствующими параметрами.

Учебник по семантическому поиску с API инференции показывает весь процесс.

Вы также можете вручную развернуть NLP в Elasticsearch, не используя конечную точку инференции. Это самый сложный и трудоёмкий поток для выполнения семантического поиска в Elastic Stack. Вам нужно выбрать модель NLP из списка поддерживаемых плотных и разреженных векторных моделей, развернуть её с помощью клиента Eland, создать отображение индекса и настроить подходящий конвейер инжеста для начала загрузки и поиска данных.

Учебник по семантическому поиску с развернутой моделью в Elasticsearch показывает весь процесс.

Создание правильного запроса имеет важное значение для семантического поиска. Какой запрос использовать и на какое поле ориентироваться в своих запросах зависит от выбранного вами потока. Если вы используете поток semantic_text, это довольно просто. В противном случае это зависит от того, с каким типом векторных представлений вы работаете.

Если вы хотите, чтобы Elasticsearch генерировал векторные представления как при индексировании, так и при выполнении запросов, используйте поле semantic_text и запрос semantic. Если вы хотите предоставить свои собственные векторные представления, используйте поле типа sparse_vector или dense_vector и соответствующий запрос в зависимости от модели NLP, которую вы использовали для генерации векторных представлений.