Обработка вывода

При создании индекса через интерфейс Контент также создаётся набор стандартных конвейеров ingest, включая конвейер ML inference. Конвейер ML inference использует процессоры inference для анализа полей и обогащения документов результатами анализа. Процессоры inference используют обученные ML модели, поэтому для использования этой функции необходимо использовать встроенную модель или развернуть обученную модель в вашем кластере.

Это руководство сосредоточено на конвейере ML inference, его использовании и управлении им.

Обработка естественного языка (NLP) позволяет разработчикам создавать богатые поисковые функции, выходящие за рамки стандартного лексического поиска. Вот несколько примеров улучшения поискового опыта с помощью NLP-моделей:

Используя модель машинного обучения ELSER от Elastic, вы можете легко добавить расширение текста для своих запросов. Это достигается использованием ELSER для предоставления семантических обогащений вашим документам при индексировании, в сочетании с возможностями шаблонов Elastic Search Application для автоматического расширения текста во время выполнения запроса.

Чаще всего используемое для обнаружения сущностей, таких как люди, места и организации из текста, NER может использоваться для извлечения ключевой информации из текста и группировки результатов на основе этой информации. Сайт спортивных новостей может использовать NER для автоматического извлечения имён профессиональных спортсменов, стадионов и спортивных команд в своих статьях и ссылки на статистику сезона или расписание.

Классификация текста обычно используется для анализа тональности и может использоваться для аналогичных задач, таких как маркировка контента, содержащего ненавистнические высказывания в общественных форумах, или триажа и маркировки запросов поддержки, чтобы они автоматически доходили до соответствующего уровня эскалации.

Анализ текстового поля с помощью модели текстового вложения сгенерирует плотное векторное представление текста. Этот массив числовых значений кодирует семантическое значение текста. Использование той же модели с запросом пользователя создаст вектор, который затем может использоваться для поиска, ранжируя результаты на основе сходства векторов - семантического сходства - в отличие от традиционного сходства слов или текста.

Частым случаем использования является поиск пользователем часто задаваемых вопросов или агентом поддержки при поиске в базе знаний, где семантически похожие данные могут быть проиндексированы с небольшим сходством в формулировке.

На диаграмме ниже показано, как обрабатываются документы во время индексирования.

Эта функция предназначена для упрощения использования ваших обученных ML моделей. Сначала нужно определить, какая модель лучше всего подходит для ваших данных. Убедитесь, что вы используете совместимую стороннюю NLP-модель. Поскольку они общедоступны, настройка моделей до развертывания невозможна.

Обученные модели должны быть доступны в текущем пространстве Kibana и работать, чтобы использовать их. По умолчанию модели должны быть доступны во всех пространствах Kibana, которые имеют включенную функцию Аналитика > Машинное обучение. Для управления обученными моделями используйте интерфейс Kibana и перейдите в Управление стеком → Машинное обучение → Обученные модели. Пространства можно контролировать в столбце пространства. Чтобы остановить или запустить модель, перейдите на вкладку Машинное обучение в меню Аналитика в Kibana и щелкните Обученные модели в разделе Управление моделями.

Для создания конвейера ML inference, специфичного для индекса, перейдите в Поиск → Контент → Индексы → <ваш индекс> → Конвейеры в интерфейсе Kibana.

Если вы видите только конвейер ent-search-generic-ingestion, вам нужно будет нажать Копировать и настроить для создания конвейеров, специфичных для индекса. Это создаст конвейер {index_name}@ml-inference.

После того, как конвейер ML inference, специфичный для индекса, будет готов, вы можете добавить процессоры inference, которые используют ваши обученные ML модели. Чтобы добавить процессор inference в конвейер ML inference, нажмите кнопку Добавить конвейер Inference на карте Конвейеры Inference ML.

Здесь вы сможете:

Процессоры inference, добавленные в ваши конвейеры ML inference, специфичные для индекса, являются обычными конвейерами Elasticsearch. После создания каждый процессор будет иметь возможность Просмотреть в Управлении стеком и Удалить конвейер. Удаление процессора inference из интерфейса Контент удаляет конвейер и также удаляет ссылку на него из конвейера ML inference, специфичного для индекса.

Эти конвейеры также можно просматривать, редактировать и удалять в Kibana через Управление стеком → Конвейеры ingest, как и все остальные конвейеры ingest Elasticsearch. Вы также можете использовать API конвейеров ingest. Если вы удаляете какой-либо из этих конвейеров вне интерфейса Контент в Kibana, убедитесь, что вы отредактировали конвейеры ML inference, которые на них ссылаются.

Вы можете проверить ожидаемую структуру вывода инференции перед индексированием документов при создании конвейера инференции машинного обучения на вкладке Проверка. Предоставьте образец документа, нажмите Моделировать и найдите объект ml.inference в результатах.

Чтобы убедиться, что конвейер инференции ML будет запущен при импорте документов, необходимо убедиться, что импортируемые документы содержат поле с именем _run_ml_inference, установленным в значение true, и установить конвейер в значение {index_name}. Для индексов коннекторов и кроулеров это произойдёт автоматически, если вы правильно настроили параметры для имени конвейера {index_name}. Для управления этими параметрами: