Ресурс google_dataproc_cluster

[править на GitHub]

Синтаксис

Используется для проверки ресурса кластера Google.

Ресурс бета-версии

Этот ресурс имеет доступные поля бета-версии. Для получения этих полей включите beta: true в конструктор ресурса.

Примеры

describe google_dataproc_cluster(project: 'chef-gcp-inspec', region: 'europe-west2', cluster_name: 'inspec-dataproc-cluster') do
  it { should exist }
  its('labels') { should include('label' => 'value') }
  its('config.master_config.num_instances') { should cmp '1' }
  its('config.worker_config.num_instances') { should cmp '2' }
  its('config.master_config.machine_type_uri') { should match 'n1-standard-1' }
  its('config.worker_config.machine_type_uri') { should match 'n1-standard-1' }
  its('config.software_config.properties') { should include('dataproc:dataproc.allow.zero.workers' => 'true') }
end

describe google_dataproc_cluster(project: 'chef-gcp-inspec', region: 'europe-west2', cluster_name: 'nonexistent') do
  it { should_not exist }
end

Свойства

Свойства, которые можно получить из ресурса google_dataproc_cluster:

cluster_name

Имя кластера, уникальное в рамках проекта и региона.

labels

Метки, применяемые к этому кластеру. Список пар ключ-значение.

config

Настройка кластера

config_bucket

Ведро Cloud Storage, используемое для подготовки файлов, таких как Hadoop jars, между клиентскими машинами и кластером.

gce_cluster_config

Общие настройки ресурсов кластера Google Compute Engine, применимые ко всем экземплярам в кластере.

zone_uri

Зона, в которой будет расположен кластер Compute Engine.

network_uri

Сеть Compute Engine, используемая для связи между машинами.

subnetwork_uri

Подсеть Compute Engine, используемая для связи между машинами.

internal_ip_only

Если true, все экземпляры в кластере будут иметь только внутренние IP-адреса.

service_account_scopes

URI областей службы учетных записей, которые необходимо включить в экземпляры Compute Engine. Следующий базовый набор областей всегда включен: https://www.googleapis.com/auth/cloud.useraccounts.readonly https://www.googleapis.com/auth/devstorage.read_write https://www.googleapis.com/auth/logging.write

tags

Теги Compute Engine, добавляемые ко всем экземплярам.

metadata

Карта записей метаданных, добавляемых ко всем экземплярам.

master_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер- или рабочих узлов.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Ресурс образа Compute Engine, используемый для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров предварительные экземпляры.

managed_group_config

Настройки конфигурации для диспетчера группы экземпляров Compute Engine, управляющего этой группой. Используется только для предварительных групп экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя диспетчера группы экземпляров для этой группы

worker_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер- или рабочих узлов.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Ресурс образа Compute Engine, используемый для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров предварительные экземпляры.

managed_group_config

Настройки конфигурации для диспетчера группы экземпляров Compute Engine, управляющего этой группой. Используется только для предварительных групп экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя диспетчера группы экземпляров для этой группы

secondary_worker_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер- или рабочих узлов.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Ресурс образа Compute Engine, используемый для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров предварительные экземпляры.

managed_group_config

Настройки конфигурации для диспетчера группы экземпляров Compute Engine, управляющего этой группой. Используется только для предварительных групп экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя диспетчера группы экземпляров для этой группы

software_config

Указывает выбор и настройки программного обеспечения внутри кластера

image_version

Версия программного обеспечения внутри кластера. Она должна быть одной из поддерживаемых версий Cloud Dataproc, например, «1.2» (включая поднебольшую версию, такую как «1.2.29»), или версия «preview».

properties

Свойства, которые необходимо установить в файлах конфигурации демона. Ключи свойств задаются в формате префикс:свойство, например, core:hadoop.tmp.dir

optional_components

Набор необязательных компонентов для активации в кластере.

Возможные значения:

• COMPONENT_UNSPECIFIED
• ANACONDA
• HBASE
• RANGER
• SOLR
• HIVE_WEBHCAT
• JUPYTER
• ZEPPELIN

initialization_actions

Указывает исполняемый файл для запуска на полностью настроенном узле и временной интервал для завершения исполнения файла.

executable_file

URI Cloud Storage исполняемого файла

execution_timeout

Время, в течение которого исполняемый файл должен завершиться

encryption_config

Настройки шифрования для кластера.

gce_pd_kms_key_name

Имя ключа Cloud KMS, используемого для шифрования дисков PD для всех экземпляров в кластере.

security_config

Контейнер конфигурации Kerberos.

kerberos_config

Конфигурация, связанная с Kerberos.

enable_kerberos

Флаг, указывающий, необходимо ли шифровать кластер с помощью Kerberos.

rootprincipal_password_uri

URI облачного хранилища зашифрованного с помощью KMS файла, содержащего пароль корневого принципала.

kms_key_uri

URI ключа KMS, используемого для шифрования различных конфиденциальных файлов.

keystore_uri

URI Cloud Storage файла хранилища ключей, используемого для шифрования SSL.

truststore_uri

URI Cloud Storage зашифрованного с помощью KMS файла, содержащего пароль для предоставленного пользователем хранилища ключей.

key_password_uri

URI Cloud Storage зашифрованного с помощью KMS файла, содержащего пароль для предоставленного пользователем ключа.

truststore_password_uri

URI Cloud Storage зашифрованного с помощью KMS файла, содержащего пароль для предоставленного пользователем хранилища доверенных сертификатов.

cross_realm_trust_realm

Удаленная область, которой доверяет KDC кластера Dataproc, если пользователь включит доверие между областями.

cross_realm_trust_admin_server

Сервер администратора (IP-адрес или имя хоста) для удаленной доверенной области в отношениях доверия между областями.

cross_realm_trust_shared_password_uri

URI Cloud Storage зашифрованного с помощью KMS файла, содержащего общий пароль между областью Kerberos на кластере и удаленной доверенной областью в отношениях доверия между областями.

kdc_db_key_uri

URI Cloud Storage зашифрованного с помощью KMS файла, содержащего главный ключ базы данных KDC.

tgt_lifetime_hours

Срок действия билета предоставления билета, в часах.

realm

Имя области Kerberos на кластере.

region

Регион, в котором будут созданы кластер и связанные узлы.

Разрешения GCP

Убедитесь, что для текущего проекта включен API Cloud Dataproc Cloud Dataproc API.