Конвейеры загрузки данных в поиске

Вы можете управлять конвейерами загрузки данных с помощью API Elasticsearch или пользовательских интерфейсов Kibana.

Пользовательский интерфейс Содержание в разделе Поиск предоставляет набор инструментов для создания и управления индексами, оптимизированными для задач поиска (данные, не относящиеся к временным рядам). Вы также можете управлять своими конвейерами загрузки данных в этом интерфейсе.

Чтобы работать с конвейерами загрузки данных с помощью этих инструментов пользовательского интерфейса, вы будете использовать вкладку Конвейеры в оптимизированном для поиска индексе Elasticsearch.

Чтобы найти эту вкладку в пользовательском интерфейсе Kibana:

Вкладка выделена на этом снимке экрана:

Эти инструменты могут быть особенно полезны, предоставляя уровень настройки и постобработки документов. Например:

Настройка и управление готовыми к производству конвейерами с нуля может быть сложной задачей. Необходимо учитывать такие аспекты, как обработка ошибок, условное выполнение, последовательность, управление версиями и модульность.

С этой целью, при создании индексов для задач поиска (включая Elastic веб-бот, коннекторы. и индексы API), каждый индекс уже имеет настроенный конвейер с несколькими процессорами, которые оптимизируют ваш контент для поиска.

Этот конвейер называется ent-search-generic-ingestion. Хотя это «управляемый» конвейер (то есть, его не следует изменять), вы можете просмотреть его подробности в пользовательском интерфейсе Kibana или с помощью API Elasticsearch. Вы также можете подробнее ознакомиться с его содержимым ниже.

Вы можете управлять запуском некоторых из этих процессоров. Хотя все функции включены по умолчанию, они могут быть отключены. Для Elastic веб-бота и коннекторов. вы можете отключить (или включить обратно) по индексу, и ваш выбор сохраняется. Для индексов API вы можете отключить (или включить обратно), включив определенные поля в ваши документы. См. подробности ниже.

На уровне развертывания вы можете изменить настройки по умолчанию для всех новых индексов. Это не повлияет на существующие индексы.

Каждый индекс также предоставляет возможность легко создавать индекс-специфичные конвейеры загрузки данных с настраиваемой обработкой. Если вам нужна дополнительная гибкость, вы можете создать настраиваемый конвейер, перейдя в настройки конвейера и выбрав «скопировать и настроить». Это заменит использование индексом ent-search-generic-ingestion тремя новыми сгенерированными конвейерами:

Как и ent-search-generic-ingestion, первый из них «управляемый», но два других можно и нужно изменить в соответствии с вашими потребностями. Вы можете просмотреть эти конвейеры с помощью инструментов платформы (пользовательский интерфейс Kibana, API Elasticsearch), а также можете подробнее ознакомиться с их содержимым ниже.

Помимо самого конвейера, у вас есть несколько параметров конфигурации, которые контролируют отдельные функции конвейеров.

Для Elastic веб-бота и коннекторов вы можете включить или отключить по индексу. Эти настройки хранятся в Elasticsearch в индексе .elastic-connectors в документе, соответствующем конкретному индексу. Эти настройки можно изменить непосредственно там или через пользовательский интерфейс Kibana по адресу Поиск > Содержание > Индексы > <ваш индекс> > Конвейеры > Настройки.

Вы также можете изменить значения по умолчанию на уровне развертывания. Эти настройки хранятся в карте Elasticsearch для .elastic-connectors в разделе _meta. Эти настройки можно изменить непосредственно там или через пользовательский интерфейс Kibana на вкладке Поиск > Содержание > Настройки. Изменение значений по умолчанию на уровне развертывания не повлияет на существующие индексы, но повлияет только на значения по умолчанию для вновь созданных индексов. Эти значения по умолчанию по-прежнему можно переопределить с помощью индекс-специфических настроек.

Эти настройки не сохраняются для индексов, которые «используют API». Вместо этого изменение этих настроек в реальном времени изменяет пример запроса cURL, который отображается. Обратите внимание, что пример документа в запросе cURL содержит три поля с префиксом подчёркивание:

{
  ...
  "_extract_binary_content": true,
  "_reduce_whitespace": true,
  "_run_ml_inference": true
}

Пропуск одного из этих специальных полей эквивалентно указанию его со значением false.

Вы можете получить доступ к этому конвейеру с помощью API конвейеров загрузки данных Elasticsearch или через пользовательский интерфейс Kibana Управление стеком > Конвейеры загрузки данных.

Конвейер ent-search-generic-ingestion не всегда запускает все процессоры. Он использует функцию конвейеров загрузки данных для условного запуска процессоров на основе содержимого каждого отдельного документа.

Роботы-пауки, родные коннекторы и клиенты коннекторов автоматически добавляют эти параметры управления потоком на основе настроек на вкладке «Конвейер» индекса. Чтобы контролировать настройки новых индексов при их создании, см. настройки контента для всего развертывания. См. Настройки конвейера.

В пользовательском интерфейсе Kibana для вашего индекса, щелкнув вкладку «Конвейеры», а затем Настройки > Копировать и настроить, вы можете быстро сгенерировать 3 конвейера, специфичных для вашего индекса. Эти 3 конвейера заменяют ent-search-generic-ingestion для индекса. При этом ничего не потеряется, так как конвейер <index-name> является надмножеством функциональности по сравнению с конвейером ent-search-generic-ingestion.

Этот конвейер выглядит и ведет себя очень похоже на конвейер ent-search-generic-ingestion, но с двумя дополнительными процессорами.

В дополнение к процессорам, унаследованным от конвейера ent-search-generic-ingestion, конвейер, специфичный для индекса, также определяет:

Как и конвейер ent-search-generic-ingestion, конвейер <index-name> не всегда выполняет все процессоры. В дополнение к параметрам управления потоком _extract_binary_content и _reduce_whitespace, конвейер <index-name> также поддерживает:

Роботы-пауки, родные коннекторы и клиенты коннекторов автоматически добавляют эти параметры управления потоком на основе настроек на вкладке «Конвейер» индекса. Чтобы контролировать настройки новых индексов при их создании, см. настройки контента для всего развертывания. См. Настройки конвейера.

Этот конвейер изначально пустой (без процессоров), но его можно добавить в пользовательском интерфейсе Kibana, либо на вкладке «Конвейеры» вашего индекса, либо на странице Управление стеком > Конвейеры поглощения. В отличие от конвейера ent-search-generic-ingestion и конвейера <index-name>, этот конвейер НЕ является «управляемым».

В пользовательском интерфейсе Контент можно добавить один или несколько конвейеров вывода ML к индексу. Этот конвейер послужит контейнером для всех конвейеров вывода ML, настроенных для индекса. Каждый конвейер вывода ML, добавленный в индекс, упоминается в <index-name>@ml-inference с использованием процессора pipeline.

Этот конвейер изначально пустой (без процессоров), но его можно добавить в пользовательском интерфейсе Kibana, либо на вкладке «Конвейеры» вашего индекса, либо на странице Управление стеком > Конвейеры поглощения. В отличие от конвейера ent-search-generic-ingestion и конвейера <index-name>, этот конвейер НЕ является «управляемым».

Рекомендуется вносить дополнения и изменения в этот конвейер при условии сохранения его имени. Это обеспечивает удобную возможность добавления пользовательской обработки и преобразований данных. Обязательно прочитайте документацию по конвейерам поглощения, чтобы узнать о доступных вариантах.