› › ›

Настройка процессора обогащения

Для настройки процессора обогащения выполните следующие действия:

После настройки процессора обогащения вы можете обновить данные обогащения и обновить политики обогащения.

Процессор обогащения выполняет несколько операций и может повлиять на скорость конвейера поступления.

Мы настоятельно рекомендуем протестировать и провести бенчмаркинг ваших процессоров обогащения перед развертыванием их в рабочей среде.

Мы не рекомендуем использовать процессор обогащения для добавления данных в реальном времени. Процессор обогащения лучше всего работает с справочными данными, которые не меняются часто.

Предварительные требования

Если вы используете функции безопасности Elasticsearch, у вас должны быть:

read права на индекс для любых используемых индексов
enrich_user встроенная роль

Добавить данные обогащения

Для начала добавьте документы в один или несколько индексов источника. Эти документы должны содержать данные обогащения, которые вы в конечном итоге хотите добавить в входящие документы.

Вы можете управлять индексами источника так же, как обычными индексами Elasticsearch, используя API документов и API индексов.

Вы также можете настроить Beats, такие как Filebeat, для автоматической отправки и индексации документов в ваши индексы источника. См. Начало работы с Beats.

Создать политику обогащения

После добавления данных обогащения в ваши индексы источника используйте API создания политики обогащения, чтобы создать политику обогащения.

После создания политику обогащения нельзя обновить или изменить. См. Обновить политику обогащения.

Выполнить политику обогащения

После создания политики обогащения вы можете выполнить ее, используя API выполнения политики обогащения, чтобы создать индекс обогащения.

Индекс обогащения содержит документы из индексов источника политики. Индексы обогащения всегда начинаются с .enrich-*, являются только для чтения и принудительно сливаются.

Индексы обогащения должны использоваться только процессором обогащения. Избегайте использования индексов обогащения для других целей.

Добавить процессор обогащения в конвейер поступления

После создания индексов источника, политики обогащения и соответствующего индекса обогащения вы можете настроить конвейер поступления, который включает процессор обогащения для вашей политики.

Определите процессор обогащения и добавьте его в конвейер поступления, используя API создания или обновления конвейера.

При определении процессора обогащения необходимо включить по крайней мере следующее:

Политика обогащения для использования.
Поле, используемое для сопоставления входящих документов с документами в вашем индексе обогащения.
Целевое поле для добавления входящих документов. Это целевое поле содержит поля соответствия и обогащения, указанные в вашей политике обогащения.

Вы также можете использовать опцию max_matches, чтобы установить количество документов обогащения, которые может сопоставить один входящий документ. Если значение установлено по умолчанию 1, данные добавляются в целевое поле входящего документа как JSON-объект. В противном случае данные добавляются как массив.

См. Обогащение для полного списка параметров конфигурации.

Вы также можете добавить другие процессоры в свой конвейер поступления.

Поступление и обогащение документов

Теперь вы можете использовать свой конвейер поступления для обогащения и индексации документов.

Перед внедрением конвейера в рабочую среду мы рекомендуем сначала проиндексировать несколько тестовых документов и проверить, что данные обогащения были добавлены правильно, используя API получения.

Обновить индекс обогащения

После создания вы не можете обновлять или индексировать документы в индексе обогащения. Вместо этого обновите индексы источника и выполните политику обогащения снова. Это создаст новый индекс обогащения из обновленных индексов источника. Предыдущий индекс обогащения будет удален задачей по техническому обслуживанию с задержкой. По умолчанию это выполняется каждые 15 минут.

При желании вы можете переиндексировать или обновить любые уже поступившие документы, используя свой конвейер поступления.

Обновить политику обогащения

После создания политику обогащения нельзя обновить или изменить. Вместо этого вы можете:

Создать и выполнить новую политику обогащения.
Заменить предыдущую политику обогащения новой политикой обогащения во всех используемых процессорах обогащения.
Используйте API удаления политики обогащения, чтобы удалить предыдущую политику обогащения.

Компоненты обогащения

Координатор обогащения — это компонент, который управляет и выполняет необходимые запросы для обогащения документов на каждом узле поступления. Он объединяет запросы от всех процессоров обогащения во всех конвейерах в пакетные многократные запросы.

Исполнитель политики обогащения — это компонент, который управляет выполнением всех политик обогащения. Когда политика обогащения выполняется, этот компонент создает новый индекс обогащения и удаляет предыдущий индекс обогащения. Выполнение политик обогащения управляется выбранным узлом-мастером. Выполнение этих политик происходит на другом узле.

Настройки узла

Процессор enrich имеет настройки узла для координатора обогащения и исполнителя политики обогащения.

Координатор обогащения поддерживает следующие настройки узла:

enrich.cache_size: Максимальное количество запросов для кэширования для обогащения документов. По умолчанию 1000. Существует единый кэш для всех процессоров обогащения в кластере. Эта настройка определяет размер этого кэша.
enrich.coordinator_proxy.max_concurrent_requests: Максимальное количество одновременных многократных запросов поиска для выполнения при обогащении документов. По умолчанию 8.
enrich.coordinator_proxy.max_lookups_per_request: Максимальное количество запросов для включения в многократный запрос поиска при обогащении документов. По умолчанию 128.

Исполнитель политики обогащения поддерживает следующие настройки узла:

enrich.fetch_size: Максимальный размер пакета при повторной индексации индекса источника в индекс обогащения. По умолчанию 10000.
enrich.max_force_merge_attempts: Максимальное количество попыток принудительного слияния, разрешенных для индекса обогащения. По умолчанию 3.
enrich.cleanup_period: Как часто Elasticsearch проверяет, можно ли удалить неиспользуемые индексы обогащения. По умолчанию 15m.
enrich.max_concurrent_policy_executions: Максимальное количество политик обогащения для одновременного выполнения. По умолчанию 50.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/enrich-setup.html