Управляемые подключения Elasticsearch

Управляемые коннекторы Elastic доступны непосредственно в вашей развертённой среде Elastic Cloud. Дополнительная инфраструктура не требуется.

Управляемые коннекторы синхронизируют источники данных напрямую с индексами Elasticsearch. Создавайте эти индексы, используя рабочие процессы Коннектора в Kibana.

Следующие коннекторы доступны как управляемые коннекторы Elastic. Обратитесь к каждой ссылке на документацию коннектора для дополнительной информации, специфичной для каждого коннектора.

Управляемые коннекторы были представлены в версии Elastic 8.5.0.

Ваша развертённая среда Elastic Cloud должна включать следующие сервисы Elastic:

Обратитесь к разделу Native Integrations на странице подписок Elastic (Elastic subscriptions page) в разделе Elastic Search для требований к лицензированию управляемых коннекторов.

Следуйте рабочему процессу Коннектора в Kibana, чтобы выбрать метод ввода Коннектора. Выберите источник данных, создайте индекс Elasticsearch и настройте управляемый коннектор для управления индексом.

Выберите источник данных из доступных вариантов и выберите Продолжить.

Создайте новый индекс, который будет управляться коннектором:

Индекс создан и готов к настройке.

Эта операция требует:

Создайте новый индекс, который будет управляться коннектором.

Продолжайте отсюда или перейдите к следующему расположению в пользовательском интерфейсе Kibana:

Поиск > Контент > Индексы Elasticsearch из основного меню или используйте поле глобального поиска.

Выберите индекс для настройки, а затем выберите вкладку Настройка.

Настройте коннектор:

Необязательно выберите Изменить расписание синхронизации, чтобы начать управление коннектором.

Эта операция требует:

Для управления документами, синхронизациями, правилами синхронизации, конвейерами ввода и другими функциями коннектора, обратитесь к Пользовательский интерфейс коннекторов в Kibana.

Управляемые коннекторы взаимодействуют с Elasticsearch с помощью ключей API. При управлении управляемым коннектором через страницу «Коннекторы» в пользовательском интерфейсе Kibana, управление ключами API происходит автоматически. Ключи API для управляемых коннекторов Elastic имеют право manage на три индекса:

Изменение прикрепленного индекса через Kibana автоматически аннулирует существующий API-ключ и сгенерирует новый. Если вы хотите обновить существующий API-ключ, перейдите на вкладку Настройка. Прокрутите вниз до Управление API-ключами и выберите Сгенерировать API-ключ. Это действие аннулирует предыдущий API-ключ, создаст новый API-ключ и обновит секрет коннектора.

API-ключи для управляемых коннекторов Elastic хранятся во внутреннем системном индексе под названием .connector-secrets. Доступ к этому индексу для записи возможен только через API-запросы от пользователей с правом доступа write_connector-secrets к кластеру. Только экземпляр Enterprise Search имеет разрешение на чтение из этого индекса.

Пользователям, управляющим управляемыми коннекторами Elastic, необходимо назначить право доступа write_connector_secrets к кластеру в их роли. Обратитесь к разделу Безопасность для информации о соображениях безопасности.

Вы также можете создавать и хранить API-ключи программно.

Развернуть следующий раздел для получения подробностей.

Пользователю нужны права на кластер manage_api_key, manage_connector и write_connector_secrets для программированного создания API-ключей.

Для создания API-ключа для коннектора:

1. Выполните следующую команду, заменив значения там, где это необходимо. Обратите внимание на значения id и encoded, возвращаемые из ответа:

   resp = client.security.create_api_key(
       name="my-connector-api-key",
       role_descriptors={
           "my-connector-connector-role": {
               "cluster": [
                   "monitor",
                   "manage_connector"
               ],
               "indices": [
                   {
                       "names": [
                           "my-index_name",
                           ".search-acl-filter-my-index_name",
                           ".elastic-connectors*"
                       ],
                       "privileges": [
                           "all"
                       ],
                       "allow_restricted_indices": False
                   }
               ]
           }
       },
   )
   print(resp)

   const response = await client.security.createApiKey({
     name: "my-connector-api-key",
     role_descriptors: {
       "my-connector-connector-role": {
         cluster: ["monitor", "manage_connector"],
         indices: [
           {
             names: [
               "my-index_name",
               ".search-acl-filter-my-index_name",
               ".elastic-connectors*",
             ],
             privileges: ["all"],
             allow_restricted_indices: false,
           },
         ],
       },
     },
   });
   console.log(response);

   POST /_security/api_key
   {
     "name": "my-connector-api-key",
     "role_descriptors": {
       "my-connector-connector-role": {
         "cluster": [
           "monitor",
           "manage_connector"
         ],
         "indices": [
           {
             "names": [
               "my-index_name",
               ".search-acl-filter-my-index_name",
               ".elastic-connectors*"
             ],
             "privileges": [
               "all"
             ],
             "allow_restricted_indices": false
           }
         ]
       }
     }
   }

2. Используйте значение encoded для хранения секрета коннектора и обратите внимание на значение id, возвращаемое из этого ответа:

   resp = client.perform_request(
       "POST",
       "/_connector/_secret",
       headers={"Content-Type": "application/json"},
       body={
           "value": "encoded_api_key"
       },
   )
   print(resp)

   const response = await client.transport.request({
     method: "POST",
     path: "/_connector/_secret",
     body: {
       value: "encoded_api_key",
     },
   });
   console.log(response);

   POST _connector/_secret
   {
     "value": "encoded_api_key"
   }

3. Используйте API-ключ id и секрет коннектора id для обновления коннектора:

   resp = client.connector.update_api_key_id(
       connector_id="my_connector_id>",
       api_key_id="API key_id",
       api_key_secret_id="secret_id",
   )
   print(resp)

   const response = await client.connector.updateApiKeyId({
     connector_id: "my_connector_id>",
     api_key_id: "API key_id",
     api_key_secret_id: "secret_id",
   });
   console.log(response);

   PUT /_connector/my_connector_id>/_api_key_id
   {
     "api_key_id": "API key_id",
     "api_key_secret_id": "secret_id"
   }

Управляемые коннекторы, созданные до версии 8.13.0, не имеют API-ключей при обновлении. Прикрепленные индексы этих коннекторов нельзя изменить, пока коннектор не будет переведен на использование API-ключа.

Развернуть следующий раздел для шагов по включению API-ключей для обновленных управляемых коннекторов Elastic.

1. Выполните следующую команду в Инструментах разработчика для включения API-ключей для коннектора, заменив значения там, где это необходимо.

   resp = client.update(
       index=".elastic-connectors",
       id="connector_id",
       doc={
           "features": {
               "native_connector_api_keys": {
                   "enabled": True
               }
           }
       },
   )
   print(resp)

   const response = await client.update({
     index: ".elastic-connectors",
     id: "connector_id",
     doc: {
       features: {
         native_connector_api_keys: {
           enabled: true,
         },
       },
     },
   });
   console.log(response);

   POST .elastic-connectors/_update/connector_id
   {
     "doc": {
       "features": {
         "native_connector_api_keys": {
           "enabled": true
         }
       }
     }
   }

2. Вернитесь на страницу коннекторов и перейдите на вкладку Настройка.
3. Прокрутите вниз до Управление API-ключами и выберите Сгенерировать API-ключ.

Ваш управляемый коннектор теперь использует API-ключи для авторизации загрузки в Elasticsearch.

В версии 8.12 мы представили набор API коннекторов для создания и управления коннекторами Elastic и задачами синхронизации, а также инструмент CLI. Используйте эти инструменты, если вы хотите работать с коннекторами и заданиями синхронизации программно.

Следующий пример демонстрирует, как использовать управляемый коннектор в Elastic Cloud: Обучающее пособие по управляемому коннектору (MongoDB).

Вы можете преобразовать управляемый коннектор в самостоятельно управляемый коннектор, который будет выполняться на вашей инфраструктуре. Инструкции вы найдете в интерфейсе на странице обзора индекса коннектора.