Ресурс google_dataproc_cluster

Синтаксис

Используется для проверки ресурса Google Cluster.

Ресурс Beta

Этот ресурс содержит доступные поля beta. Для получения этих полей включите beta: true в конструктор ресурса.

Примеры

describe google_dataproc_cluster(project: 'chef-gcp-inspec', region: 'europe-west2', cluster_name: 'inspec-dataproc-cluster') do
  it { should exist }
  its('labels') { should include('label' => 'value') }
  its('config.master_config.num_instances') { should cmp '1' }
  its('config.worker_config.num_instances') { should cmp '2' }
  its('config.master_config.machine_type_uri') { should match 'n1-standard-1' }
  its('config.worker_config.machine_type_uri') { should match 'n1-standard-1' }
  its('config.software_config.properties') { should include('dataproc:dataproc.allow.zero.workers' => 'true') }
end

describe google_dataproc_cluster(project: 'chef-gcp-inspec', region: 'europe-west2', cluster_name: 'nonexistent') do
  it { should_not exist }
end

Свойства

Свойства, к которым можно получить доступ из ресурса google_dataproc_cluster:

cluster_name

Имя кластера, уникальное в проекте и регионе.

labels

Метки, применяемые к этому кластеру. Список пар ключ-значение.

config

Настройка кластера

config_bucket

Ведро Cloud Storage, используемое для размещения файлов, таких как Hadoop jars, между клиентскими машинами и кластером.

gce_cluster_config

Общие параметры конфигурации для ресурсов кластера Google Compute Engine, применимые ко всем экземплярам в кластере.

zone_uri

Зона, в которой будет расположен кластер Compute Engine.

network_uri

Сеть Compute Engine, используемая для обмена данными между машинами.

subnetwork_uri

Подсеть Compute Engine, используемая для обмена данными между машинами.

internal_ip_only

Если true, все экземпляры в кластере будут иметь только внутренние IP-адреса.

service_account_scopes

URI-адреса областей действия учетной записи службы, которые нужно включить в экземпляры Compute Engine. Следующий базовый набор областей действия всегда включен: https://www.googleapis.com/auth/cloud.useraccounts.readonly https://www.googleapis.com/auth/devstorage.read_write https://www.googleapis.com/auth/logging.write

tags

Теги Compute Engine, которые нужно добавить ко всем экземплярам.

metadata

Карта записей метаданных, которые нужно добавить ко всем экземплярам.

master_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер или рабочая группа.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Используемый ресурс образа Compute Engine для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации для дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров прерывимые экземпляры.

managed_group_config

Настройка для Compute Engine Instance Group Manager, управляющего этой группой. Используется только для групп прерывимых экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя менеджера группы экземпляров для этой группы.

worker_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер или рабочая группа.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Используемый ресурс образа Compute Engine для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации для дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров прерывимые экземпляры.

managed_group_config

Настройка для Compute Engine Instance Group Manager, управляющего этой группой. Используется только для групп прерывимых экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя менеджера группы экземпляров для этой группы.

secondary_worker_config

Настройки конфигурации ресурсов Compute Engine в группе экземпляров, таких как группа мастер или рабочая группа.

num_instances

Количество виртуальных машин в группе экземпляров. Для групп мастер-экземпляров должно быть установлено значение 1.

instance_names

Список имен экземпляров.

image_uri

Используемый ресурс образа Compute Engine для экземпляров кластера.

machine_type_uri

Тип машины Compute Engine, используемый для экземпляров кластера.

disk_config

Настройки конфигурации для дисков

boot_disk_type

Тип загрузочного диска. Допустимые значения: «pd-ssd» или «pd-standard»

boot_disk_size_gb

Размер загрузочного диска в ГБ.

num_local_ssds

Количество подключенных SSD-дисков, от 0 до 4.

is_preemptible

Указывает, содержит ли эта группа экземпляров прерывимые экземпляры.

managed_group_config

Настройка для Compute Engine Instance Group Manager, управляющего этой группой. Используется только для групп прерывимых экземпляров.

instance_template_name

Имя шаблона экземпляра, используемого для управляемой группы экземпляров.

instance_group_manager_name

Имя менеджера группы экземпляров для этой группы.

software_config

Указывает выбор и настройку программного обеспечения внутри кластера

image_version

Версия программного обеспечения внутри кластера. Она должна быть одной из поддерживаемых версий Cloud Dataproc, таких как «1.2» (включая поднезначения, например, «1.2.29»), или версия «preview».

properties

Свойства, которые нужно установить в файлах конфигурации демона. Ключи свойств указываются в формате префикс:свойство, например core:hadoop.tmp.dir

optional_components

Набор необязательных компонентов для активации в кластере.

Возможные значения:

• COMPONENT_UNSPECIFIED
• ANACONDA
• HBASE
• RANGER
• SOLR
• HIVE_WEBHCAT
• JUPYTER
• ZEPPELIN

initialization_actions

Указывает исполняемый файл для запуска на полностью настроенном узле и время ожидания завершения исполнения.

executable_file

URI Cloud Storage исполняемого файла

execution_timeout

Время, за которое исполняемый файл должен завершиться

encryption_config

Настройки шифрования для кластера.

gce_pd_kms_key_name

Имя ключа Cloud KMS, используемого для шифрования диска PD для всех экземпляров в кластере.

security_config

Удерживатель конфигурации Kerberos.

kerberos_config

Настройки, относящиеся к Kerberos.

enable_kerberos

Флаг, указывающий, следует ли кельберизировать кластер.

rootprincipal_password_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего пароль root-принципала.

kms_key_uri

URI ключа KMS, используемого для шифрования различных конфиденциальных файлов.

keystore_uri

URI Cloud Storage файла хранилища ключей, используемого для шифрования SSL.

truststore_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего пароль к хранилищу ключей, предоставленному пользователем.

key_password_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего пароль к ключу, предоставленному пользователем.

truststore_password_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего пароль к хранилищу доверенных сертификатов, предоставленному пользователем.

cross_realm_trust_realm

Удаленный домен, которому будет доверять KDC кластера Dataproc, если пользователь включит доверие между доменами.

cross_realm_trust_admin_server

Сервер администратора (IP-адрес или имя хоста) для удаленного доверенного домена в отношениях доверия между доменами.

cross_realm_trust_shared_password_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего общий пароль между кластером Kerberos и удаленным доверенным домена, в отношениях доверия между доменами.

kdc_db_key_uri

URI Cloud Storage зашифрованного ключом KMS файла, содержащего главный ключ базы данных KDC.

tgt_lifetime_hours

Срок действия билета запроса билета в часах.

realm

Имя домена Kerberos на кластере.

region

Регион, в котором будут созданы кластер и связанные узлы.

Разрешения GCP

Убедитесь, что для текущего проекта включен API Cloud Dataproc по адресу.