gcp_bigquery_table_facts – Сбор фактов для таблицы GCP
Новая версия 2.8.
Краткое описание
- Сбор фактов для таблицы GCP
Требования
Ниже перечислены требования, которые должны быть выполнены на хосте, на котором выполняется данный модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
| Параметр | Варианты/Значения по умолчанию | Комментарии |
|---|---|---|
| auth_kind строка / обязательно |
| Тип используемых учетных данных. |
| dataset - | Имя набора данных. | |
| project строка | Проект Google Cloud Platform, который нужно использовать. | |
| scopes список | Массив используемых областей. | |
| service_account_contents строка | Строка, представляющая содержимое файла JSON учетной записи службы. Не нужно передавать это как словарь, а строку с точным содержимым файла json учетной записи службы (валидный JSON). | |
| service_account_email строка | Необязательный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать адрес электронной почты по умолчанию. | |
| service_account_file путь | Путь к файлу JSON учетной записи службы, если выбран тип serviceaccount. |
Примечания
Примечание
- Для аутентификации можно установить service_account_file с помощью переменной среды
GCP_SERVICE_ACCOUNT_FILE. - Для аутентификации можно установить service_account_email с помощью переменной среды
GCP_SERVICE_ACCOUNT_EMAIL. - Для аутентификации можно установить service_account_contents с помощью переменной среды
GCP_SERVICE_ACCOUNT_CONTENTS. - Для аутентификации можно установить auth_kind с помощью переменной среды
GCP_AUTH_KIND. - Для аутентификации можно установить scopes с помощью переменной среды
GCP_SCOPES. - Значения переменных среды будут использоваться только в том случае, если значения в playbook не заданы.
- Параметры service_account_email и service_account_file взаимоисключающие.
Примеры
- name: " a table facts"
gcp_bigquery_table_facts:
dataset: example_dataset
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: facts
Возвращаемые значения
Общие возвращаемые значения описаны здесь, ниже перечислены поля, уникальные для данного модуля:
| Ключевые значения | Возвращаемое значение | Описание | |||||
|---|---|---|---|---|---|---|---|
| items сложный | всегда | Список элементов | |||||
| creationTime целое число | успех | Время создания этого набора данных в миллисекундах с момента эпохи. | |||||
| dataset строка | успех | Имя набора данных. | |||||
| description строка | успех | Понятное пользователю описание набора данных. | |||||
| encryptionConfiguration сложный | успех | Настройка пользовательского шифрования. | |||||
| kmsKeyName строка | успех | Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервиса BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. | |||||
| expirationTime целое число | успех | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если значение не указано, таблица будет существовать неограниченно. | |||||
| externalDataConfiguration сложный | успех | Описание формата данных, местоположения и других свойств таблицы, хранящейся вне BigQuery. Определяя эти свойства, источник данных может быть запрошен так, как если бы он был стандартной таблицей BigQuery. | |||||
| autodetect булево | успех | Попытаться автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтен. | |||||
| bigtableOptions сложный | успех | Дополнительные параметры, если sourceFormat установлен в BIGTABLE. | |||||
| columnFamilies сложный | успех | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | |||||
| columns сложный | успех | Список столбцов, которые должны отображаться как отдельные поля вместо списка пар (имя столбца, значение). | |||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | |||||
| fieldName строка | успех | Если квалификатор не является допустимым идентификатором поля BigQuery, должен быть предоставлен допустимый идентификатор в качестве имени поля столбца, который используется в качестве имени поля в запросах. | |||||
| onlyReadLatest булево | успех | Если это установлено, отображается только последняя версия значения в этом столбце. | |||||
| qualifierString строка | успех | Квалификатор столбца. | |||||
| type строка | успех | Тип для преобразования значения в ячейках этого столбца. | |||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | |||||
| familyId строка | успех | Идентификатор семейства столбцов. | |||||
| onlyReadLatest булево | успех | Если это установлено, отображаются только последние версии значений для всех столбцов в этом семействе столбцов. | |||||
| type строка | успех | Тип для преобразования значений в ячейках этого семейства столбцов. | |||||
| ignoreUnspecifiedColumnFamilies булево | успех | Если поле имеет значение true, семейства столбцов, которые не указаны в списке columnFamilies, не отображаются в схеме таблицы. | |||||
| readRowkeyAsString булево | успех | Если поле имеет значение true, семейства столбцов rowkey будут читаться и преобразовываться в строку. | |||||
| compression строка | успех | Тип сжатия источника данных. | |||||
| csvOptions сложный | успех | Дополнительные свойства для установки, если sourceFormat установлен в CSV. | |||||
| allowJaggedRows булево | успех | Указывает, должен ли BigQuery принимать строки, в которых отсутствуют конечные необязательные столбцы. | |||||
| allowQuotedNewlines булево | успех | Указывает, должен ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки в файле CSV. | |||||
| encoding строка | успех | Кодировка символов данных. | |||||
| fieldDelimiter строка | успех | Разделитель полей в файле CSV. | |||||
| quote строка | успех | Значение, используемое для цитирования разделов данных в файле CSV. | |||||
| skipLeadingRows целое число | успех | Количество строк в верхней части файла CSV, которое BigQuery пропустит при чтении данных. | |||||
| googleSheetsOptions сложный | успех | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | |||||
| skipLeadingRows целое число | успех | Количество строк в верхней части Google Таблицы, которое BigQuery пропустит при чтении данных. | |||||
| ignoreUnknownValues булево | успех | Указывает, должен ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. | |||||
| maxBadRecords целое число | success | Максимальное количество плохих записей, которые BigQuery может игнорировать при чтении данных. | |||||
| schema сложный тип | success | Схема данных. Схема требуется для форматов CSV и JSON. | |||||
| fields сложный тип | success | Описание полей в таблице. | |||||
| description строка | success | Описание поля. | |||||
| fields список | success | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| mode строка | success | Режим поля. | |||||
| name строка | success | Имя поля. | |||||
| type строка | success | Тип данных поля. | |||||
| sourceFormat строка | success | Формат данных. | |||||
| sourceUris список | success | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ «*» в качестве дикого символа, и он должен следовать за именем «ведра». Ограничения размера, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: можно указать ровно один URI, который должен быть полностью указанным и корректным HTTPS-адресом таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Также не допускается использование символа «*» в качестве дикого символа. | |||||
| friendlyName строка | success | Дескриптивное имя для этой таблицы. | |||||
| id строка | success | Непрозрачный идентификатор, уникально определяющий таблицу. | |||||
| labels словарь | success | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группирования наборов данных. | |||||
| lastModifiedTime целое число | success | Время последнего изменения этой таблицы в миллисекундах с начала эпохи. | |||||
| location строка | success | Географическое расположение, где находится таблица. Это значение унаследовано от набора данных. | |||||
| name строка | success | Имя таблицы. | |||||
| numBytes целое число | success | Размер этой таблицы в байтах, без учета данных в буфере потоковой передачи. | |||||
| numLongTermBytes целое число | success | Количество байтов в таблице, которые считаются «долгосрочным хранилищем». | |||||
| numRows целое число | success | Количество строк данных в этой таблице, без учета данных в буфере потоковой передачи. | |||||
| schema сложный тип | success | Описание схемы этой таблицы. | |||||
| fields сложный тип | success | Описание полей в таблице. | |||||
| description строка | success | Описание поля. Максимальная длина — 1024 символа. | |||||
| fields список | success | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| mode строка | success | Режим поля. | |||||
| name строка | success | Имя поля. | |||||
| type строка | success | Тип данных поля. | |||||
| streamingBuffer сложный тип | success | Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле будет отсутствовать, если таблица не передается по потоку или если в буфере потоковой передачи нет данных. | |||||
| estimatedBytes целое число | success | Нижняя граница оценки количества байтов, в настоящее время находящихся в буфере потоковой передачи. | |||||
| estimatedRows целое число | success | Нижняя граница оценки количества строк, в настоящее время находящихся в буфере потоковой передачи. | |||||
| oldestEntryTime целое число | success | Содержит метку времени самой старой записи в буфере потоковой передачи в миллисекундах с начала эпохи, если буфер потоковой передачи доступен. | |||||
| tableReference сложный тип | success | Ссылка, описывающая идентификатор этой таблицы. | |||||
| datasetId строка | success | Идентификатор набора данных, содержащего эту таблицу. | |||||
| projectId строка | success | Идентификатор проекта, содержащего эту таблицу. | |||||
| tableId строка | success | Идентификатор таблицы. | |||||
| timePartitioning сложный тип | success | Если указано, настраивает разбиение по времени для этой таблицы. | |||||
| expirationMs целое число | success | Количество миллисекунд, в течение которого хранить данные разбиения. | |||||
| type строка | success | Поддерживается только тип DAY, который сгенерирует одно разбиение на каждый день. | |||||
| type строка | success | Описание типа таблицы. | |||||
| view сложный тип | success | Определение представления. | |||||
| useLegacySql логическое значение | success | Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. | |||||
| userDefinedFunctionResources complex | success | Описание ресурсов пользовательских функций, используемых в запросе. | |||||
| inlineCode string | success | Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление встроенного кода равносильно предоставлению URI файла, содержащего тот же код. | |||||
| resourceUri string | success | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | |||||
Статус
- Данный модуль не гарантирует обратной совместимости интерфейса. [превью]
- Этот модуль поддерживается сообществом Ansible. [community]
Авторы
- Google Inc. (@googlecloudplatform)
Подсказка
Если вы заметите какие-либо проблемы в этой документации, вы можете отредактировать этот документ, чтобы улучшить его.
© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.8/modules/gcp_bigquery_table_facts_module.html
