› › ›

Коннектор Google Cloud Storage

Коннектор Elastic для Google Cloud Storage — это коннектор для источников данных Google Cloud Storage.

Справочная информация по управляемому коннектору Elastic

Просмотр справочной информации по управляемому коннектору Elastic

Доступность и предварительные требования

Этот коннектор доступен в Elastic Cloud начиная с 8.12.0. Для использования этого коннектора в Elastic Cloud необходимо выполнить все требования к управляемым коннекторам.

Использование

Учетная запись сервиса Google Cloud Storage должна иметь (по крайней мере) следующие разрешения и роли:

resourcemanager.projects.get
serviceusage.services.use
storage.buckets.list
storage.objects.list
storage.objects.get

Учетные данные учетной записи сервиса Google Cloud Storage хранятся в файле JSON.

Настройка

Для настройки коннектора необходимо указать следующее поле конфигурации:

Ведра: Список ведер для индексирования. * будет индексировать все ведра.
JSON учетной записи сервиса Google Cloud: Учетные данные учетной записи сервиса, сгенерированные из Google Cloud Storage (строка JSON). Дополнительную информацию см. в документации Google Cloud.

Документы и синхронизации

Коннектор получит все ведра и пути, к которым у учетной записи сервиса есть доступ.

Поле Owner не извлекается, так как роль read_only не позволяет коннектору получать информацию об IAM.

Контент из файлов размером более 10 МБ не будет извлечен. (Управляемые коннекторы могут использовать локальную службу извлечения для обработки больших двоичных файлов.)
Разрешения не синхронизируются. Все документы, индексированные в развертывание Elastic, будут видны всем пользователям с доступом к этому развертыванию.

Типы синхронизации

Полные синхронизации поддерживаются по умолчанию для всех коннекторов.

Этот коннектор также поддерживает инкрементные синхронизации.

Правила синхронизации

Основные правила синхронизации одинаковы для всех коннекторов и доступны по умолчанию.

Расширенные правила синхронизации недоступны для этого коннектора в текущей версии. В настоящее время фильтрация контролируется конвейерами ввода.

Извлечение контента

См. Извлечение контента.

$ make ftest NAME=google_cloud_storage

Для ускорения тестирования добавьте флаг DATA_SIZE=small:

make ftest NAME=google_cloud_storage DATA_SIZE=small

Известные проблемы

В настоящее время для этого коннектора нет известных проблем.

Устранение неполадок

См. Устранение неполадок.

Безопасность

См. Безопасность.

Фреймворк и исходный код

Этот коннектор разработан с помощью фреймворка Elastic для коннекторов.

Просмотреть исходный код этого коннектора (ветка 8.17, совместима с Elastic 8.17).

Справочная информация по самостоятельно управляемому коннектору

Ссылка на самоуправляемый коннектор

Доступность и предварительные условия

Этот коннектор доступен как самоуправляемый самоуправляемый коннектор. Этот самоуправляемый коннектор совместим с версиями Elastic 8.6.0+. Для использования этого коннектора, выполните все требования самоуправляемого коннектора.

Использование

Учетная запись службы Google Cloud Storage должна иметь (по крайней мере) следующие разрешения и роли:

resourcemanager.projects.get
serviceusage.services.use
storage.buckets.list
storage.objects.list
storage.objects.get

Данные учетной записи службы Google Cloud Storage хранятся в файле JSON.

Настройка

При использовании рабочего процесса самоуправляемого коннектора, вначале эти поля будут использовать настройки по умолчанию, заданные в коде источника коннектора. Они заданы в определении функции get_default_configuration.

Эти настраиваемые поля будут отображаться с соответствующими метками в пользовательском интерфейсе Kibana. После подключения вы сможете обновить эти значения в Kibana.

Для настройки коннектора требуются следующие поля конфигурации:

buckets: Список ведер для индексирования. * будет индексировать все ведра.
service_account_credentials: Данные учетной записи службы, сгенерированные из Google Cloud Storage (строка JSON). Для получения дополнительной информации обратитесь к документации Google Cloud.
retry_count: Количество попыток повтора после неудачного вызова Google Cloud Storage. Значение по умолчанию — 3.

Развертывание с использованием Docker

Вы можете развернуть коннектор Google Cloud Storage как самоуправляемый коннектор с помощью Docker. Следуйте этим инструкциям.

Шаг 1: Загрузка образца файла конфигурации

Загрузите образец файла конфигурации. Вы можете загрузить его вручную или выполнить следующую команду:

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

Не забудьте обновить значение аргумента --output, если имя вашей директории отличается или вы хотите использовать другое имя файла конфигурации.

Шаг 2: Обновление файла конфигурации для вашего самоуправляемого коннектора

Обновите файл конфигурации с указанными ниже параметрами, чтобы соответствовать вашей среде:

elasticsearch.host
elasticsearch.api_key
connectors

Если вы запускаете службу коннектора на Docker-изображении Elasticsearch и Kibana, ваш файл конфигурации будет выглядеть так:

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: google_cloud_storage
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

Использование elasticsearch.api_key — рекомендуемый метод аутентификации. Однако вы также можете использовать elasticsearch.username и elasticsearch.password для аутентификации с вашим экземпляром Elasticsearch.

Примечание: Вы можете изменить другие настройки по умолчанию, просто раскомментировав определенные параметры в файле конфигурации и изменив их значения.

Шаг 3: Запуск Docker-изображения

Запустите Docker-образ со службой коннектора, используя следующую команду:

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Обратитесь к DOCKER.md в репозитории elastic/connectors для получения более подробной информации.

Найдите все доступные Docker-образы в официальном реестре.

У нас также есть быстрый самоуправляемый вариант с использованием Docker Compose, чтобы вы могли одновременно запустить все необходимые службы: Elasticsearch, Kibana и службу коннекторов. Обратитесь к этому README в репозитории elastic/connectors для получения дополнительной информации.

Документы и синхронизации

Коннектор будет извлекать все ведра и пути, к которым имеет доступ учетная запись службы.

Поле Owner не извлекается, так как роль read_only не позволяет коннектору извлекать информацию об IAM.

Содержание файлов размером более 10 МБ по умолчанию не будет извлекаться. Вы можете использовать самоуправляемую локальную службу извлечения, чтобы обработать файлы с большими бинарными данными.
Разрешения не синхронизируются. Все документы, индексированные в развертывании Elastic, будут видны всем пользователям с доступом к этому развертыванию Elastic.

Типы синхронизации

Полные синхронизации поддерживаются по умолчанию для всех коннекторов.

Этот коннектор также поддерживает инкрементные синхронизации.

Правила синхронизации

Основные правила синхронизации одинаковы для всех коннекторов и доступны по умолчанию.

Расширенные правила синхронизации для этого коннектора в текущей версии недоступны. В настоящее время фильтрация контролируется конвейерами ingest.

Извлечение содержимого

См. Извлечение содержимого.

Конечное тестирование

Фреймворк коннектора позволяет операторам запускать функциональные тесты на реальном источнике данных. Обратитесь к тестированию коннекторов для получения дополнительной информации.

Для выполнения конечного тестирования коннектора Google Cloud Storage выполните следующую команду:

$ make ftest NAME=google_cloud_storage

Для ускорения тестов добавьте флаг DATA_SIZE=small:

make ftest NAME=google_cloud_storage DATA_SIZE=small

Известные проблемы

В настоящее время для этого коннектора нет известных проблем.

Устранение неполадок

См. Устранение неполадок.

Безопасность

См. Безопасность.

Фреймворк и исходный код

Этот коннектор разработан с использованием фреймворка Elastic для коннекторов.

Просмотрите исходный код этого коннектора (ветка 8.17, совместимая с Elastic 8.17).

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/es-connectors-google-cloud.html