Хранилище Google Cloud Storage

Сервис Google Cloud Storage использует концепцию ведёр в качестве контейнеров для всех данных. Ведра обычно создаются с помощью консоли Google Cloud Platform. Этот тип хранилища не создаёт ведра автоматически.

Чтобы создать новое ведро:

Для более подробных инструкций обратитесь к документации Google Cloud.

Хранилище должно пройти авторизацию запросов к сервису Google Cloud Storage. Клиентские библиотеки Google часто используют стратегию, называемую приложением по умолчанию. Однако эта стратегия частично поддерживается Elasticsearch. Хранилище работает в процессе Elasticsearch, который запущен с включенным менеджером безопасности. Менеджер безопасности блокирует «автоматическое» обнаружение учетных данных при использовании переменной среды GOOGLE_APPLICATION_CREDENTIALS для указания локального файла на диске. Однако он может получить учетную запись сервиса, прикреплённую к ресурсу, на котором запущен Elasticsearch, или вернуться к учетной записи сервиса по умолчанию, предоставляемой Compute Engine, Kubernetes Engine или App Engine. В противном случае вам необходимо настроить учетные данные учетной записи сервиса, если вы используете среду, которая не поддерживает автоматическое обнаружение учетных данных.

Вы должны получить и предоставить учетные данные учетной записи сервиса вручную.

Для получения подробной информации о генерации JSON-файлов учетных записей сервиса см. документацию Google Cloud. Обратите внимание, что формат PKCS12 не поддерживается этим типом хранилища.

Вот краткий обзор шагов:

Файл JSON учетной записи сервиса выглядит следующим образом:

{
  "type": "service_account",
  "project_id": "your-project-id",
  "private_key_id": "...",
  "private_key": "-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----\n",
  "client_email": "service-account-for-your-repository@your-project-id.iam.gserviceaccount.com",
  "client_id": "...",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/your-bucket@your-project-id.iam.gserviceaccount.com"
}

Чтобы предоставить этот файл хранилищу, он должен быть сохранён в хранилище ключей Elasticsearch. Вам нужно добавить настройку file с именем gcs.client.NAME.credentials_file, используя подкоманду add-file. NAME — это имя конфигурации клиента для хранилища. Неявное имя клиента — default, но другое имя клиента можно указать в настройках хранилища с ключом client.

Например, если вы добавили настройку gcs.client.my_alternate_client.credentials_file в хранилище ключей, вы можете настроить хранилище для использования этих учетных данных следующим образом:

resp = client.snapshot.create_repository(
    name="my_gcs_repository",
    repository={
        "type": "gcs",
        "settings": {
            "bucket": "my_bucket",
            "client": "my_alternate_client"
        }
    },
)
print(resp)

const response = await client.snapshot.createRepository({
  name: "my_gcs_repository",
  repository: {
    type: "gcs",
    settings: {
      bucket: "my_bucket",
      client: "my_alternate_client",
    },
  },
});
console.log(response);

PUT _snapshot/my_gcs_repository
{
  "type": "gcs",
  "settings": {
    "bucket": "my_bucket",
    "client": "my_alternate_client"
  }
}

Настройки credentials_file перезагружаемы. Вы можете определить эти настройки до запуска узла или вызвать API перезагрузки настроек безопасности узлов после определения настроек, чтобы применить их к работающему узлу.

После перезагрузки настроек внутренние клиенты gcs, используемые для передачи содержимого снимка, используют последние настройки из хранилища ключей.

Клиент, используемый для подключения к Google Cloud Storage, имеет ряд доступных настроек. Имена настроек клиента имеют вид gcs.client.CLIENT_NAME.SETTING_NAME и указаны внутри elasticsearch.yml. Имя клиента по умолчанию, подключаемое хранилищем gcs, называется default, но может быть настраиваемо с помощью настройки хранилища client.

Например:

resp = client.snapshot.create_repository(
    name="my_gcs_repository",
    repository={
        "type": "gcs",
        "settings": {
            "bucket": "my_bucket",
            "client": "my_alternate_client"
        }
    },
)
print(resp)

const response = await client.snapshot.createRepository({
  name: "my_gcs_repository",
  repository: {
    type: "gcs",
    settings: {
      bucket: "my_bucket",
      client: "my_alternate_client",
    },
  },
});
console.log(response);

PUT _snapshot/my_gcs_repository
{
  "type": "gcs",
  "settings": {
    "bucket": "my_bucket",
    "client": "my_alternate_client"
  }
}

Некоторые настройки конфиденциальны и должны храниться в хранилище ключей Elasticsearch. Это относится к файлу учетной записи сервиса:

bin/elasticsearch-keystore add-file gcs.client.default.credentials_file /path/service-account.json

Ниже приведены доступные настройки клиента. Те, что должны храниться в хранилище ключей, помечены как Secure.

Учётная запись службы, используемая для доступа к ведру, должна иметь доступ «Писатель» к ведру: