Справочник подключения к S3

Это подключение доступно в виде самоуправляемого самоуправляемого подключения. Это самоуправляемое подключение совместимо с версиями Elastic 8.6.0+. Чтобы использовать это подключение, выполните все требования к самоуправляемым подключениям.

Чтобы создать новое подключение к Amazon S3:

Вы можете использовать Elasticsearch API для создания подключения для создания нового самоуправляемого подключения Amazon S3.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-s3-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from Amazon S3",
  "service_type": "s3"
}

Обратитесь к документации API Elasticsearch для получения подробной информации обо всех доступных API подключения.

Чтобы использовать это подключение как самоуправляемое подключение, см. Самоуправляемые подключения.

Для дополнительных операций см. Интерфейс пользователя подключений в Kibana.

Пользователям S3 также потребуется создать идентификатор IAM

Пользователям необходимо создать идентификатор IAM для использования этого подключения как самоуправляемого подключения. Обратитесь к документации AWS.

Политика, связанная с идентификатором IAM, должна иметь следующие разрешения AWS:

В настоящее время подключение не поддерживает совместимые с S3 поставщиков.

Следующие поля настроек необходимы для настройки подключения:

Вы можете развернуть подключение Amazon S3 как самоуправляемое подключение с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: s3
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Обратитесь к DOCKER.md в репозитории elastic/connectors для получения дополнительной информации.

Найдите все доступные Docker-образы в официальном репозитории.

Основные правила синхронизации одинаковы для всех подключений и доступны по умолчанию.

Расширенные правила синхронизации определяются через специфичный для источника фрагмент JSON DSL.

Используйте расширенные правила синхронизации для фильтрации данных, подлежащих извлечению из ведер Amazon S3. Они принимают следующие параметры:

Примеры расширенных правил синхронизации

Получение файлов и папок рекурсивно по префиксу

Пример: Получение файлов/папок в folder1/docs.

[
  {
    "bucket": "bucket1",
    "prefix": "folder1/docs"
  }

]

Пример: Получение файлов/папок, начинающихся с folder1.

[
  {
    "bucket": "bucket2",
    "prefix": "folder1"
  }
]

Получение файлов и папок, указав расширения

Пример: Получение всех объектов, начинающихся с abc, а затем фильтрация по расширениям файлов.

[
  {
    "bucket": "bucket2",
    "prefix": "abc",
    "extension": [".txt", ".png"]
  }
]

См. Извлечение содержимого.

Фреймворк коннекторов позволяет операторам запускать функциональные тесты на реальном источнике данных. Подробнее см. Тестирование коннекторов.

Для выполнения функционального теста для Amazon S3 коннектора с собственным управлением, выполните следующую команду:

make ftest NAME=s3

По умолчанию это будет использовать набор данных среднего размера. Для ускорения теста добавьте аргумент DATA_SIZE=small:

make ftest NAME=s3 DATA_SIZE=small

Для данного коннектора известных проблем нет.

См. Известные проблемы для проблем, влияющих на все коннекторы.

См. Поиск решения проблем.

См. Безопасность.

Этот коннектор создан с использованием фреймворка коннекторов Elastic.

Посмотреть исходный код этого коннектора (ветвь 8.17, совместима с Elastic 8.17).