Правила синхронизации соединителей

Используйте правила синхронизации соединителей для управления тем, какие документы синхронизируются между источником данных сторонних разработчиков и Elasticsearch. Определяйте правила синхронизации в пользовательском интерфейсе Kibana для каждого индекса соединителя, в вкладке Sync rules для индекса.

Правила синхронизации применяются к управляемым соединителям и соединителям, управляемым самостоятельно.

В версиях Elastic 8.8.0 и более поздних все соединители поддерживают базовые правила синхронизации.

Некоторые соединители поддерживают расширенные правила синхронизации. Дополнительные сведения см. в документации по отдельным соединителям.

Существует два типа правил синхронизации:

Прежде чем обсуждать правила синхронизации, важно понять основные понятия фильтрации данных. На следующем рисунке показано, что фильтрация данных может происходить на нескольких разных этапах/в разных местах.

В этом руководстве мы сосредоточимся на удаленной и интеграционной фильтрации. Правила синхронизации можно использовать для изменения обоих этих типов.

Данные могут быть отфильтрованы в источнике. Это называется удаленной фильтрацией, так как процесс фильтрации является внешним для Elastic.

Интеграционная фильтрация служит мостом между исходным источником данных и Elasticsearch. Примером интеграционной фильтрации является фильтрация, выполняемая в соединителях.

Наконец, Elasticsearch может отфильтровать данные непосредственно перед сохранением с помощью конвейеров обработки. В этом руководстве мы не будем рассматривать фильтрацию конвейеров обработки.

В большинстве случаев ваш хранилище данных будет содержать гораздо больше данных, чем вам нужно предоставить конечным пользователям. Например, вы можете захотеть искать в каталоге продукции, но не включать контактную информацию поставщиков, даже если эти данные совмещены для бизнес-целей.

Оптимальное время для фильтрации данных — на ранней стадии конвейера данных. Есть две основные причины:

В идеальном случае вся фильтрация выполнялась бы как удаленная фильтрация.

Однако на практике это не всегда возможно. Некоторые источники не позволяют выполнять эффективную удаленную фильтрацию. Другие позволяют, но требуют специальной настройки (создание индексов по определенным полям, настройка параметров и т.д.), которая может потребовать внимания со стороны других заинтересованных лиц в вашей организации.

С учетом этого правила синхронизации были разработаны для изменения как удаленной, так и интеграционной фильтрации. Ваша цель должна заключаться в том, чтобы выполнять как можно больше удаленной фильтрации, но интеграция является вполне приемлемой резервной мерой. По определению, удаленная фильтрация применяется до получения данных из стороннего источника. Интеграционная фильтрация применяется после получения данных из стороннего источника, но перед добавлением их в индекс Elasticsearch.

Каждое базовое правило синхронизации может быть одним из двух «политик»: include и exclude. Include правила используются для включения документов, которые «соответствуют» указанному условию. Exclude правила используются для исключения документов, которые «соответствуют» указанному условию.

«Соответствие» определяется на основе условия, определенного комбинацией «поле», «правило» и «значение».

Столбец Field должен использоваться для определения поля в документе, которое следует учитывать.

В столбце Rule доступны следующие правила:

Наконец, столбец Value зависит от:

Например, значение [A-Z]{2} может иметь смысл для правила regex, но не так для правила >. Аналогично, у вас, вероятно, не будет значения espresso при работе с полем ip_address, но, возможно, у вас будет для поля beverage.

Исключить все документы, у которых поле ID имеет значение больше 1000.

Исключить все документы, у которых поле state соответствует указанному регулярному выражению.

Следующие диаграммы иллюстрируют концепцию постраничной навигации. Огромный набор данных может не поместиться в оперативную память экземпляра соединителя. Разделение данных на меньшие блоки снижает риск ошибок исчерпания памяти.

На этой диаграмме показано, что весь набор данных извлекается за один раз:

В сравнении, на этой диаграмме показано извлечение данных по страницам:

Расширенные правила синхронизации используются только в удаленной фильтрации. Представьте себе расширенные правила синхронизации как способ представления запросов к источнику данных, независимый от языка. Поэтому эти правила в высокой степени специфичны для источника.

Следующие соединители поддерживают расширенные правила синхронизации:

Каждый подключитель, поддерживающий расширенные правила синхронизации, предоставляет свой собственный DSL для задания правил. Обратитесь к документации по каждому подключителю для получения подробностей.

Вы также можете использовать базовые правила синхронизации и расширенные правила синхронизации вместе для фильтрации набора данных.

На следующем рисунке показан порядок применения расширенных правил синхронизации, базовых правил синхронизации и фильтрации конвейера к вашим документам:

В следующем примере мы хотим отфильтровать набор данных, содержащий квартиры, чтобы он содержал только квартиры со специфическими свойствами. Мы будем использовать базовые и расширенные правила синхронизации на протяжении всего примера.

Примерная квартира выглядит следующим образом в формате .json:

    {
        "id": 1234,
        "bedrooms": 3,
        "price": 1500,
        "address": {
            "street": "Street 123",
            "government_area": "Area",
            "country_information": {
                "country_code": "PT",
                "country": "Portugal"
    }
  }
}

Целевой набор данных должен удовлетворять следующим условиям:

Первые 3 условия можно обработать с помощью базовых правил синхронизации, но для условия № 4 нам понадобятся расширенные правила синхронизации.

Чтобы создать новое базовое правило синхронизации, перейдите на вкладку Правила синхронизации и выберите Создать черновик правил синхронизации:

После этого вам нужно нажать кнопку Сохранить и проверить черновик для проверки этих правил. Обратите внимание, что после сохранения правила будут в состоянии черновик. Они не будут выполняться при следующей синхронизации, пока не будут применены.

После успешной проверки вы можете применить свои правила, чтобы они выполнялись при следующей синхронизации.

Следующие условия могут быть покрыты базовыми правилами синхронизации:

Вы хотите включить только квартиры, расположенные в Португалии или Испании. Здесь необходимо использовать расширенные правила синхронизации, так как мы имеем дело с глубоко вложенными объектами.

Предположим, что данные о квартирах хранятся в экземпляре MongoDB. Для MongoDB мы поддерживаем конвейеры агрегации в наших расширенных правилах синхронизации.

Конвейер агрегации для выбора только квартир, расположенных в Португалии или Испании, выглядит следующим образом:

    [
      {
        "$match": {
             "$or": [
                    {
                      "address.country_information.country": "Portugal"
                    },
                    {
                      "address.country_information.country": "Spain"
                    }
                  ]
                }
      }
    ]

Чтобы создать эти расширенные правила синхронизации, перейдите в диалоговое окно создания правил синхронизации и выберите вкладку Расширенные правила. Теперь вы можете вставить свой конвейер агрегации в поле ввода под aggregate.pipeline:

После проверки примените эти правила. На следующем снимке экрана показаны примененные правила синхронизации, которые будут выполнены при следующей синхронизации:

После успешной синхронизации можно развернуть детали синхронизации, чтобы увидеть, какие правила были применены: