Обогащение данных
Вы можете использовать процессор обогащения, чтобы добавлять данные из существующих индексов в поступающие документы во время обработки.
Например, вы можете использовать процессор обогащения для:
- Определения веб-сервисов или поставщиков на основе известных IP-адресов
- Добавления информации о продуктах к розничным заказам на основе идентификаторов продуктов
- Дополнения контактной информации на основе адреса электронной почты
- Добавления почтовых индексов на основе координат пользователя
Как работает процессор обогащения
Большинство процессоров автономны и изменяют только существующие данные в поступающих документах.
Процессор обогащения добавляет новые данные в поступающие документы и требует нескольких специальных компонентов:
- политика обогащения
-
Набор параметров конфигурации, используемых для добавления необходимых данных обогащения к соответствующим поступающим документам.
Политика обогащения содержит:
- Список одного или нескольких источниковых индексов, которые хранят данные обогащения в виде документов
- Тип политики, определяющий способ сопоставления данных обогащения с поступающими документами
- Поле сопоставления из исходных индексов, используемое для сопоставления поступающих документов
- Поля обогащения, содержащие данные обогащения из исходных индексов, которые вы хотите добавить в поступающие документы
Перед использованием с процессором обогащения политика обогащения должна быть выполнена. При выполнении политика обогащения использует данные обогащения из исходных индексов политики для создания оптимизированного системного индекса, называемого индексом обогащения. Процессор использует этот индекс для сопоставления и обогащения поступающих документов.
- исходный индекс
- Индекс, который хранит данные обогащения, которые вы хотите добавить в поступающие документы. Вы можете создавать и управлять этими индексами так же, как и обычным индексом Elasticsearch. В политике обогащения можно использовать несколько исходных индексов. Также вы можете использовать один и тот же исходный индекс в нескольких политиках обогащения.
- индекс обогащения
-
Специальный системный индекс, привязанный к определенной политике обогащения.
Прямое сопоставление поступающих документов с документами в исходных индексах может быть медленным и ресурсоемким. Для ускорения процесса процессор обогащения использует индекс обогащения.
Индексы обогащения содержат данные обогащения из исходных индексов, но обладают несколькими специальными свойствами для оптимизации:
- Они являются системными индексами, что означает, что Elasticsearch управляет ими внутренне и они предназначены только для использования с процессорами обогащения.
- Они всегда начинаются с
.enrich-*. - Они являются только для чтения, то есть вы не можете их напрямую изменять.
- Они подлежат принудительному слиянию для быстрого извлечения.
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/ingest-enriching-data.html
