google.cloud.gcp_bigquery_dataset модуль — Создаёт набор данных GCP
Примечание
Этот модуль является частью коллекции google.cloud (версия 1.4.1).
У вас, возможно, уже установлена эта коллекция, если вы используете пакет ansible. Она не включена в ansible-core. Чтобы проверить, установлена ли она, выполните ansible-galaxy collection list.
Для её установки используйте: ansible-galaxy collection install google.cloud. Вам потребуются дополнительные зависимости, чтобы использовать этот модуль. Подробности см. в разделе Требования.
Чтобы использовать его в книге задач, укажите: google.cloud.gcp_bigquery_dataset.
Описание
- Наборы данных позволяют организовать и контролировать доступ к вашим таблицам.
Требования
Ниже перечислены требования, которые должны быть выполнены на хосте, на котором выполняется этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
Параметр | Комментарии |
|---|---|
доступ список / элементы=словарь | Массив объектов, определяющих доступ к набору данных для одного или нескольких объектов. |
|
домен строка |
Домен, которому нужно предоставить доступ. Все пользователи, авторизованные с указанным доменом, получат указанный доступ. |
|
группа_по_электронному_адресу строка |
Электронный адрес группы Google, которому нужно предоставить доступ. |
|
роль строка |
Описывает права, предоставленные пользователю, указанному в другом члене объекта доступа. Поддерживаются базовые, предварительно определенные и настраиваемые роли. Предварительно определенные роли, имеющие эквивалентные базовые роли, заменяются API на их базовые аналоги. См. [официальную документацию](https://cloud.google.com/bigquery/docs/access-control). |
|
специальная_группа строка |
Специальная группа, которой предоставляется доступ. Возможные значения включают: * `projectOwners`: Владельцы проекта. * `projectReaders`: Читатели проекта. * `projectWriters`: Пишущие в проект. * `allAuthenticatedUsers`: Все авторизованные пользователи BigQuery. |
|
пользователь_по_электронному_адресу строка |
Электронный адрес пользователя, которому необходимо предоставить доступ. Например: fred@example.com . |
|
просмотр словарь |
Просмотр из другого набора данных, которому предоставляется доступ. Запросы, выполняемые над этим представлением, будут иметь доступ для чтения к таблицам в этом наборе данных. Поле role не требуется, когда установлено это поле. Если это представление обновляется любым пользователем, доступ к представлению необходимо предоставить заново с помощью операции обновления. |
|
id_набора_данных строка / обязательно |
Идентификатор набора данных, содержащего эту таблицу. |
|
id_проекта строка / обязательно |
Идентификатор проекта, содержащего эту таблицу. |
|
id_таблицы строка / обязательно |
Идентификатор таблицы. Идентификатор должен содержать только буквы (a-z, A-Z), цифры (0-9) или символы подчеркивания. Максимальная длина — 1024 символа. |
токен_доступа строка | Токен доступа OAuth2, если тип учетных данных — accesstoken. |
тип_аутентификации строка / обязательно | Тип используемых учетных данных. Варианты:
|
ссылка_на_набор_данных словарь / обязательно | Ссылка, определяющая набор данных. |
|
id_набора_данных строка / обязательно |
Уникальный идентификатор этого набора данных без имени проекта. Идентификатор должен содержать только буквы (a-z, A-Z), цифры (0-9) или символы подчеркивания. Максимальная длина — 1024 символа. |
|
id_проекта строка |
Идентификатор проекта, содержащего этот набор данных. |
конфигурация_шифрования_по_умолчанию словарь | Ключ шифрования по умолчанию для всех таблиц в наборе данных. После установки этого свойства все вновь созданные разнесенные по времени таблицы в наборе данных будут иметь ключ шифрования, установленный в это значение, если запрос создания таблицы (или запрос) не переопределяет ключ. |
|
имя_ключа_kms строка / обязательно |
Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись службы BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. |
срок_действия_разделения_по_умолчанию_мс целое_число | Срок действия разбиения по умолчанию для всех разнесенных по времени таблиц в наборе данных в миллисекундах. После установки этого свойства все вновь созданные разнесенные по времени таблицы в наборе данных будут иметь свойство `expirationMs` в настройках `timePartitioning`, установленное в это значение, и изменение значения повлияет только на новые таблицы, а не на существующие. Хранилище в разделе будет иметь срок действия времени разбиения плюс это значение. Установка этого свойства переопределяет использование `defaultTableExpirationMs` для разнесенных по времени таблиц: для любой новой разнесенной по времени таблицы будет использоваться только одно из значений `defaultTableExpirationMs` и `defaultPartitionExpirationMs`. Если при создании или обновлении разнесенной по времени таблицы вы явно указываете `timePartitioning.expirationMs`, это значение имеет приоритет над временем истечения срока действия разбиения по умолчанию, указанным в этом свойстве. |
default_table_expiration_ms integer | Время жизни по умолчанию для всех таблиц в наборе данных, в миллисекундах. Минимальное значение составляет 3600000 миллисекунд (один час). После установки этого свойства все вновь созданные таблицы в наборе данных будут иметь свойство `expirationTime`, установленное на время создания плюс значение этого свойства, а изменение значения будет влиять только на новые таблицы, а не на существующие. Когда срок действия `expirationTime` для данной таблицы истекает, эта таблица будет автоматически удалена. Если свойство `expirationTime` таблицы изменено или удалено до истечения срока действия таблицы, или если вы предоставляете явное значение `expirationTime` при создании таблицы, это значение имеет приоритет над временем истечения срока действия по умолчанию, указанным этим свойством. |
description string | Понятное описание набора данных. |
env_type string | Указывает, в какой среде Ansible выполняется этот модуль. Это не должно быть установлено, если вы не знаете, что делаете. Это только изменяет строку User Agent для любых запросов API. |
friendly_name string | Описательное имя набора данных. |
labels dictionary | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки ваших наборов данных. |
location string | Географическое местоположение, где должен находиться набор данных. См. [официальную документацию](https://cloud.google.com/bigquery/docs/dataset-locations). Существует два типа местоположений: региональные или многорегиональные. Региональное местоположение — это конкретное географическое место, например Токио, а многорегиональное местоположение — это большая географическая область, например США, которая содержит как минимум два географических места. Значение по умолчанию — многорегиональное местоположение `US`. Изменение этого значения приводит к созданию нового ресурса. Default: |
name string | Имя набора данных. |
project string | Проект Google Cloud Platform для использования. |
scopes list / elements=string | Массив областей, которые будут использоваться |
service_account_contents jsonarg | Содержимое файла Service Account JSON, либо в виде словаря, либо в виде JSON-строки, которая его представляет. |
service_account_email string | Необязательный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать электронную почту по умолчанию. |
service_account_file path | Путь к файлу Service Account JSON, если в качестве типа выбран serviceaccount. |
state string | Должен ли данный объект существовать в GCP Варианты:
|
Примечания
Примечание
- API Reference: https://cloud.google.com/bigquery/docs/reference/rest/v2/datasets
- Введение в наборы данных: https://cloud.google.com/bigquery/docs/datasets-intro
- для аутентификации вы можете установить service_account_file с помощью переменной окружения
GCP_SERVICE_ACCOUNT_FILE. - для аутентификации вы можете установить service_account_contents с помощью переменной окружения
GCP_SERVICE_ACCOUNT_CONTENTS. - Для аутентификации вы можете установить service_account_email с помощью переменной окружения
GCP_SERVICE_ACCOUNT_EMAIL. - Для аутентификации вы можете установить access_token с помощью переменной окружения
GCP_ACCESS_TOKEN. - Для аутентификации вы можете установить auth_kind с помощью переменной окружения
GCP_AUTH_KIND. - Для аутентификации вы можете установить scopes с помощью переменной окружения
GCP_SCOPES. - Значения переменных окружения будут использоваться только в том случае, если значения в playbook не установлены.
- Параметры service_account_email и service_account_file являются взаимоисключающими.
Примеры
- name: create a dataset
google.cloud.gcp_bigquery_dataset:
name: my_example_dataset
dataset_reference:
dataset_id: my_example_dataset
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: present
Возвращаемые значения
Общие возвращаемые значения описаны здесь, следующие поля уникальны для этого модуля:
Ключ | Описание |
|---|---|
access сложный | Массив объектов, определяющих доступ к набору данных для одного или нескольких сущностей. Возвращено: успех |
|
domain строка |
Домен, которому нужно предоставить доступ. Все пользователи, вошедшие в систему с указанным доменом, получат указанный доступ. Возвращено: успех |
|
groupByEmail строка |
Электронный адрес группы Google, которому нужно предоставить доступ. Возвращено: успех |
|
role строка |
Описание прав, предоставляемых пользователю, указанному в другом элементе доступа. Поддерживаются базовые, предопределенные и пользовательские роли. Предопределенные роли, эквивалентные базовым ролям, заменяются API на их базовые аналоги. См. [официальную документацию](https://cloud.google.com/bigquery/docs/access-control). Возвращено: успех |
|
specialGroup строка |
Специальная группа, которой нужно предоставить доступ. Возможные значения: * `projectOwners`: Владельцы проекта. * `projectReaders`: Читатели проекта. * `projectWriters`: Писатели проекта. * `allAuthenticatedUsers`: Все авторизованные пользователи BigQuery. Возвращено: успех |
|
userByEmail строка |
Электронный адрес пользователя, которому нужно предоставить доступ. Например: fred@example.com. Возвращено: успех |
|
view сложный |
Вид из другого набора данных, которому нужно предоставить доступ. Запросы, выполняемые по этому виду, будут иметь права чтения к таблицам в этом наборе данных. Поле role не требуется, когда установлено это поле. Если этот вид обновляется любым пользователем, доступ к виду нужно предоставить снова с помощью операции обновления. Возвращено: успех |
|
datasetId строка |
Идентификатор набора данных, содержащего эту таблицу. Возвращено: успех |
|
projectId строка |
Идентификатор проекта, содержащего эту таблицу. Возвращено: успех |
|
tableId строка |
Идентификатор таблицы. Идентификатор должен содержать только буквы (a-z, A-Z), цифры (0-9) или символы подчеркивания. Максимальная длина — 1024 символа. Возвращено: успех |
creationTime целое число | Время создания этого набора данных в миллисекундах с момента эпохи. Возвращено: успех |
datasetReference сложный | Ссылка, идентифицирующая набор данных. Возвращено: успех |
|
datasetId строка |
Уникальный идентификатор этого набора данных без имени проекта. Идентификатор должен содержать только буквы (a-z, A-Z), цифры (0-9) или символы подчеркивания. Максимальная длина — 1024 символа. Возвращено: успех |
|
projectId строка |
Идентификатор проекта, содержащего этот набор данных. Возвращено: успех |
defaultEncryptionConfiguration сложный | Ключ шифрования по умолчанию для всех таблиц в наборе данных. После установки этого свойства все вновь созданные разделяемые таблицы в наборе данных будут иметь ключ шифрования, установленный в это значение, если запрос на создание таблицы (или запрос) не переопределяет ключ. Возвращено: успех |
|
kmsKeyName строка |
Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервиса BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. Возвращено: успех |
defaultPartitionExpirationMs целое число | Срок действия разбиения по умолчанию для всех разделяемых таблиц в наборе данных в миллисекундах. После установки этого свойства все вновь созданные разделяемые таблицы в наборе данных будут иметь свойство `expirationMs` в настройках `timePartitioning`, установленное в это значение, и изменение значения будет влиять только на новые таблицы, а не на существующие. Хранилище в разбиении будет иметь срок действия времени разбиения плюс это значение. Установка этого свойства переопределяет использование `defaultTableExpirationMs` для разделяемых таблиц: только одно из `defaultTableExpirationMs` и `defaultPartitionExpirationMs` будет использоваться для любой новой разделяемой таблицы. Если при создании или обновлении разделяемой таблицы вы укажете явное `timePartitioning.expirationMs`, это значение будет иметь приоритет над значением срока действия разбиения по умолчанию, указанным в этом свойстве. Возвращено: успех |
defaultTableExpirationMs целое число | Срок действия всех таблиц в наборе данных по умолчанию в миллисекундах. Минимальное значение — 3600000 миллисекунд (один час). После установки этого свойства все вновь созданные таблицы в наборе данных будут иметь свойство `expirationTime`, установленное на время создания плюс значение этого свойства, а изменение значения будет влиять только на новые таблицы, а не на существующие. Когда `expirationTime` для данной таблицы истекает, эта таблица будет автоматически удалена. Если `expirationTime` таблицы изменяется или удаляется до истечения срока действия таблицы, или если при создании таблицы предоставлено явное значение `expirationTime`, это значение имеет приоритет над значением срока действия по умолчанию, указанным этим свойством. Возвращаемое значение: success |
description строка | Описание набора данных, понятное пользователю. Возвращаемое значение: success |
etag строка | Хеш ресурса. Возвращаемое значение: success |
friendlyName строка | Дескриптивное имя набора данных. Возвращаемое значение: success |
id строка | Полное квалифицированное уникальное имя набора данных в формате projectId:datasetId. Имя набора данных без имени проекта указано в поле datasetId. Возвращаемое значение: success |
labels словарь | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки наборов данных. Возвращаемое значение: success |
lastModifiedTime целое число | Дата последнего изменения этого набора данных или любой из его таблиц в миллисекундах с начала эпохи. Возвращаемое значение: success |
location строка | Географическое расположение, где должен находиться набор данных. См. [официальную документацию](https://cloud.google.com/bigquery/docs/dataset-locations). Существуют два типа расположений: региональные и многорегиональные. Региональное расположение — это конкретное географическое место, например, Токио, а многорегиональное расположение — это большая географическая зона, например, США, которая содержит как минимум два географических места. Значение по умолчанию — многорегиональное расположение `US`. Изменение этого значения приводит к созданию нового ресурса. Возвращаемое значение: success |
name строка | Имя набора данных. Возвращаемое значение: success |
Ссылки на сборку
© 2012–2018 Michael DeHaan
© 2018–2024 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/latest/collections/google/cloud/gcp_bigquery_dataset_module.html
