google.cloud.gcp_bigquery_table_info – Сбор информации о таблице GCP
Примечание
Этот плагин входит в состав коллекции google.cloud (версия 1.0.2).
Для его установки используйте: ansible-galaxy collection install google.cloud.
Для использования в плане задания, укажите: google.cloud.gcp_bigquery_table_info.
Описание
- Сбор информации о таблице GCP
Требования
Ниже перечислены требования к хосту, на котором будет выполняться этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
| Параметр | Варианты/Значения по умолчанию | Комментарии |
|---|---|---|
| auth_kind строка / обязательно |
| Тип используемых учетных данных. |
| dataset строка | Имя набора данных. | |
| env_type строка | Указывает, в какой среде Ansible выполняется этот модуль. Не устанавливайте это значение, если вы не знаете, что делаете. Это изменяет только строку User Agent для всех запросов к API. | |
| project строка | Проект Google Cloud Platform, который следует использовать. | |
| scopes список / элементы=строка | Массив используемых областей доступа. | |
| service_account_contents jsonarg | Содержимое файла JSON учетной записи службы, либо в виде словаря, либо как строка JSON, которая его представляет. | |
| service_account_email строка | Дополнительный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать адрес по умолчанию. | |
| service_account_file путь | Путь к файлу JSON учетной записи службы, если тип выбран serviceaccount. |
Примечания
Примечание
- для аутентификации можно установить service_account_file, используя переменную среды
gcp_service_account_file. - для аутентификации можно установить service_account_contents, используя переменную среды
GCP_SERVICE_ACCOUNT_CONTENTS. - Для аутентификации можно установить service_account_email, используя переменную среды
GCP_SERVICE_ACCOUNT_EMAIL. - Для аутентификации можно установить auth_kind, используя переменную среды
GCP_AUTH_KIND. - Для аутентификации можно установить scopes, используя переменную среды
GCP_SCOPES. - Значения переменных среды будут использоваться только в том случае, если значения в плане задания не заданы.
- Параметры service_account_email и service_account_file взаимоисключающие.
Примеры
- name: get info on a table
gcp_bigquery_table_info:
dataset: example_dataset
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
Значения возврата
Общие значения возврата документированы здесь, следующие поля уникальны для данного модуля:
| Ключ | Возвращаемое значение | Описание | |||||
|---|---|---|---|---|---|---|---|
| resources complex | всегда | Список ресурсов | |||||
| clustering list / elements=string | успешно | Один или несколько полей, по которым следует группировать данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простого типа. При группировке таблицы по нескольким столбцам порядок указанных столбцов имеет значение. Порядок указанных столбцов определяет порядок сортировки данных. | |||||
| creationTime integer | успешно | Время создания этого набора данных в миллисекундах с начала эпохи. | |||||
| dataset string | успешно | Имя набора данных. | |||||
| description string | успешно | Пользовательское описание набора данных. | |||||
| encryptionConfiguration complex | успешно | Настройка пользовательского шифрования. | |||||
| kmsKeyName string | успешно | Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетной записи службы BigQuery, связанной с вашим проектом, требуется доступ к этому ключу шифрования. | |||||
| expirationTime integer | успешно | Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если отсутствует, таблица сохраняется неопределенно. | |||||
| externalDataConfiguration complex | успешно | Описание формата данных, местоположения и других свойств таблицы, хранящейся вне BigQuery. Определяя эти свойства, источник данных можно запросить так, как если бы это была стандартная таблица BigQuery. | |||||
| autodetect boolean | успешно | Попробовать автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтён. | |||||
| bigtableOptions complex | успешно | Дополнительные параметры, если sourceFormat установлен в BIGTABLE. | |||||
| columnFamilies complex | успешно | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | |||||
| columns complex | успешно | Список столбцов, которые должны быть отображены как отдельные поля, а не список пар (имя столбца, значение). | |||||
| encoding string | успешно | Кодировка значений, когда тип не STRING. | |||||
| fieldName string | успешно | Если квалификатор не является допустимым идентификатором поля BigQuery, должен быть предоставлен допустимый идентификатор в качестве имени поля столбца, который используется в качестве имени поля в запросах. | |||||
| onlyReadLatest boolean | успешно | Если это установлено, отображается только последняя версия значения в этом столбце. | |||||
| qualifierString string | успешно | Квалификатор столбца. | |||||
| type string | успешно | Тип для преобразования значения в ячейках этого столбца. | |||||
| encoding string | успешно | Кодировка значений, когда тип не STRING. | |||||
| familyId string | успешно | Идентификатор семейства столбцов. | |||||
| onlyReadLatest boolean | успешно | Если установлено, для всех столбцов в этом семействе столбцов отображается только последняя версия значения. | |||||
| type string | успешно | Тип для преобразования значения в ячейках этого семейства столбцов. | |||||
| ignoreUnspecifiedColumnFamilies boolean | успешно | Если поле имеет значение true, то семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | |||||
| readRowkeyAsString boolean | успешно | Если поле имеет значение true, то семейства столбцов rowkey будут считаны и преобразованы в строку. | |||||
| compression string | успешно | Тип сжатия источника данных. | |||||
| csvOptions complex | успешно | Дополнительные свойства для установки, если sourceFormat установлен в CSV. | |||||
| allowJaggedRows boolean | успешно | Указывает, должна ли BigQuery принимать строки, в которых отсутствуют хвостовые необязательные столбцы. | |||||
| allowQuotedNewlines boolean | успешно | Указывает, должна ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки, в файле CSV. | |||||
| encoding string | успешно | Кодировка символов данных. | |||||
| fieldDelimiter string | успешно | Разделитель полей в файле CSV. | |||||
| quote string | успешно | Значение, используемое для цитирования разделов данных в файле CSV. | |||||
| skipLeadingRows integer | успешно | Количество строк в начале файла CSV, которое BigQuery пропустит при чтении данных. | |||||
| googleSheetsOptions complex | успешно | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | |||||
| skipLeadingRows integer | успешно | Количество строк в начале Google Таблицы, которое BigQuery пропустит при чтении данных. | |||||
| ignoreUnknownValues boolean | успешно | Указывает, должна ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. | |||||
| maxBadRecords integer | успешно | Максимальное количество плохих записей, которые BigQuery может игнорировать при чтении данных. | |||||
| schema complex | успешно | Схема данных. Схема требуется для форматов CSV и JSON. | |||||
| Поля complex | success | Описание полей в таблице. | |||||
| Описание string | success | Описание поля. | |||||
| Поля list / elements=string | success | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| Режим string | success | Режим поля. | |||||
| Имя string | success | Имя поля. | |||||
| Тип string | success | Тип данных поля. | |||||
| Формат источника string | success | Формат данных. | |||||
| URI источника list / elements=string | success | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: Каждый URI может содержать один символ «*» (подстановочный знак), который должен следовать за именем «bucket». Ограничения по размеру, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: Можно указать ровно один URI, который должен быть полным и корректным HTTPS-адресом для таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Также не допускается использование символа «*» (подстановочный знак). | |||||
| Другое имя string | success | Дескриптивное имя для этой таблицы. | |||||
| ID string | success | Уникальный идентификатор таблицы. | |||||
| Метки dictionary | success | Метки, связанные с этим набором данных. Их можно использовать для организации и группировки наборов данных. | |||||
| Время последнего изменения integer | success | Время последнего изменения таблицы в миллисекундах с начала эпохи. | |||||
| Расположение string | success | Географическое расположение таблицы. Это значение наследуется от набора данных. | |||||
| Имя string | success | Имя таблицы. | |||||
| Количество байтов integer | success | Размер таблицы в байтах, за исключением данных в буфере потоковой передачи. | |||||
| Количество байтов долгосрочного хранения integer | success | Количество байтов в таблице, которые считаются "долгосрочным хранением". | |||||
| Количество строк integer | success | Количество строк данных в этой таблице, за исключением данных в буфере потоковой передачи. | |||||
| Требовать фильтр разбиения boolean | success | Если установлено в true, запросы к этой таблице требуют фильтра разбиения, который можно использовать для устранения разбиения. | |||||
| Схема complex | success | Описание схемы этой таблицы. | |||||
| Поля complex | success | Описание полей в таблице. | |||||
| Описание string | success | Описание поля. Максимальная длина — 1024 символа. | |||||
| Поля list / elements=string | success | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| Режим string | success | Режим поля. | |||||
| Имя string | success | Имя поля. | |||||
| Тип string | success | Тип данных поля. | |||||
| Буфер потоковой передачи complex | success | Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле будет отсутствовать, если таблица не передается в режиме потоковой передачи или если в буфере потоковой передачи нет данных. | |||||
| Приблизительное количество байтов integer | success | Нижняя оценка количества байтов, в настоящее время находящихся в буфере потоковой передачи. | |||||
| Приблизительное количество строк integer | success | Нижняя оценка количества строк, в настоящее время находящихся в буфере потоковой передачи. | |||||
| Время самого старого элемента integer | success | Содержит метку времени самого старого элемента в буфере потоковой передачи в миллисекундах с начала эпохи, если буфер потоковой передачи доступен. | |||||
| Ссылка на таблицу complex | success | Ссылка, описывающая идентификатор этой таблицы. | |||||
| Идентификатор набора данных string | success | Идентификатор набора данных, содержащего эту таблицу. | |||||
| Идентификатор проекта string | success | Идентификатор проекта, содержащего эту таблицу. | |||||
| Идентификатор таблицы string | success | Идентификатор таблицы. | |||||
| Разбиение по времени complex | success | При указании настраивает разбиение по времени для этой таблицы. | |||||
| Срок хранения (мс) integer | success | Количество миллисекунд, в течение которого хранить данные для разбиения. | |||||
| Поле string | success | Если не указано, таблица разбивается по псевдостолбцу, ссылающемуся либо на «_PARTITIONTIME» как на тип TIMESTAMP, либо на «_PARTITIONDATE» как на тип DATE. Если поле указано, таблица разбивается по этому полю. Поле должно быть верхнеуровневым полем типа TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED. | |||||
| Тип string | success | Поддерживается только тип DAY, который генерирует одно разбиение на день. | |||||
| Тип string | success | Описание типа таблицы. | |||||
| Просмотр complex | success | Определение представления. | |||||
| Использовать устаревший SQL boolean | success | Указывает, использовать ли устаревший SQL BigQuery для этого представления. | |||||
| Ресурсы пользовательских функций complex | success | Описание ресурсов пользовательских функций, используемых в запросе. | |||||
| Встроенный код string | success | Встроенный ресурс, содержащий код пользовательской функции (UDF). Предоставление встроенного кода эквивалентно предоставлению URI для файла, содержащего тот же код. | |||||
| resourceUri string | success | Код ресурса для загрузки из URI Google Cloud Storage (gs://bucket/path). | |||||
Авторы
- Google Inc. (@googlecloudplatform)
© 2012–2018 Michael DeHaan
© 2018–2021 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.11/collections/google/cloud/gcp_bigquery_table_info_module.html
