Справочник по подключению Elastic Azure Blob Storage

Этот соединитель доступен как самоуправляемый самоуправляемый соединитель. Этот самоуправляемый соединитель совместим с версиями Elastic 8.6.0+. Для использования этого соединителя, выполните все требования к самоуправляемым соединителям.

Этот соединитель не тестировался с Azure Government. Поэтому мы не можем гарантировать, что он будет работать с конечными точками Azure Government. Для получения дополнительной информации об Azure Government по сравнению с глобальной Azure, обратитесь к официальной документации Microsoft.

Для создания нового соединителя Azure Blob Storage:

Вы можете использовать Elasticsearch API для создания соединителя для создания нового самоуправляемого соединителя Azure Blob Storage.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-azure_blob_storage-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from Azure Blob Storage",
  "service_type": "azure_blob_storage"
}

Подробные сведения обо всех доступных API соединителей см. в документации API Elasticsearch.

Для использования этого соединителя в качестве самоуправляемого соединителя, см. Самоуправляемые соединители. Для дополнительных операций с использованием см. Интерфейс пользователя соединителей в Kibana.

Для настройки соединителя требуются следующие поля конфигурации:

Вы можете развернуть соединитель Azure Blob Storage как самоуправляемый соединитель с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: azure_blob_storage
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Дополнительные сведения см. в DOCKER.md в репозитории elastic/connectors.

Найдите все доступные Docker-изображения в официальном репозитории.

Соединитель получит все доступные данные в контейнере.

Полные синхронизации поддерживаются по умолчанию для всех соединителей.

Этот соединитель также поддерживает инкрементные синхронизации.

Основные правила синхронизации одинаковы для всех соединителей и доступны по умолчанию.

Расширенные правила синхронизации недоступны для этого соединителя в текущей версии. В настоящее время фильтрация контролируется через конвейеры индексации.

См. Извлечение содержимого.

Фреймворк соединителя позволяет операторам выполнять функциональные тесты с использованием реального источника данных. Дополнительные сведения см. в тестировании соединителя.

Для выполнения тестирования «от начала до конца» для соединителя Azure Blob Storage выполните следующую команду:

$ make ftest NAME=azure_blob_storage

Для более быстрых тестов добавьте флаг DATA_SIZE=small:

make ftest NAME=azure_blob_storage DATA_SIZE=small

У этого соединителя есть следующие известные проблемы:

См. Поиск и устранение неполадок.

См. Безопасность.