Модуль google.cloud.gcp_bigquery_table_info – Сбор информации о таблице GCP
Примечание
Этот модуль является частью коллекции google.cloud (версия 1.4.1).
Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не включена в ansible-core. Чтобы проверить установку, выполните ansible-galaxy collection list.
Для установки используйте: ansible-galaxy collection install google.cloud. Для использования этого модуля необходимы дополнительные требования. Подробности см. в разделе Требования.
Для использования в плейбуке укажите: google.cloud.gcp_bigquery_table_info.
Описание
- Сбор информации о таблице GCP
Требования
Ниже приведены требования к хосту, на котором выполняется этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
Параметр | Комментарии |
|---|---|
access_token строка | Токен доступа OAuth2, если тип аутентификации accesstoken. |
auth_kind строка / обязательно | Тип используемых учетных данных. Варианты:
|
dataset строка | Имя набора данных. |
env_type строка | Указывает, в какой среде Ansible выполняется этот модуль. Это не должно устанавливаться, если вы не знаете, что делаете. Это изменяет только строку User Agent для всех запросов к API. |
project строка | Проект Google Cloud Platform для использования. |
scopes список / элементы=строка | Массив используемых областей. |
service_account_contents jsonarg | Содержимое файла JSON учетной записи службы, либо в виде словаря, либо как JSON-строка, которая его представляет. |
service_account_email строка | Дополнительный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать адрес по умолчанию. |
service_account_file путь | Путь к файлу JSON учетной записи службы, если выбран тип serviceaccount. |
Примечания
Примечание
- для аутентификации можно установить service_account_file, используя переменную среды
GCP_SERVICE_ACCOUNT_FILE. - для аутентификации можно установить service_account_contents, используя переменную среды
GCP_SERVICE_ACCOUNT_CONTENTS. - для аутентификации можно установить service_account_email, используя переменную среды
GCP_SERVICE_ACCOUNT_EMAIL. - для аутентификации можно установить access_token, используя переменную среды
GCP_ACCESS_TOKEN. - для аутентификации можно установить auth_kind, используя переменную среды
GCP_AUTH_KIND. - для аутентификации можно установить scopes, используя переменную среды
GCP_SCOPES. - значения переменных среды будут использоваться только в том случае, если значения плейбука не заданы.
- опции service_account_email и service_account_file взаимоисключающие.
Примеры
- name: get info on a table
gcp_bigquery_table_info:
dataset: example_dataset
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
Значения возврата
Общие значения возврата документированы здесь, следующие поля уникальны для этого модуля:
Ключ | Описание |
|---|---|
resources complex | Список ресурсов Возвращается: всегда |
|
clustering list / elements=string |
Одно или несколько полей, по которым должны быть сгруппированы данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простого типа. При кластеризации таблицы с использованием нескольких столбцов порядок указанных столбцов важен. Порядок указанных столбцов определяет порядок сортировки данных. Возвращается: при успехе |
|
creationTime integer |
Время создания этого набора данных в миллисекундах с начала эпохи. Возвращается: при успехе |
|
dataset string |
Имя набора данных. Возвращается: при успехе |
|
description string |
Понятное описание набора данных. Возвращается: при успехе |
|
encryptionConfiguration complex |
Настраиваемая конфигурация шифрования. Возвращается: при успехе |
|
kmsKeyName string |
Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись службы BigQuery, связанная с вашим проектом, требует доступа к этому ключу шифрования. Возвращается: при успехе |
|
expirationTime integer |
Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если отсутствует, таблица будет существовать неопределенно долго. Возвращается: при успехе |
|
externalDataConfiguration complex |
Описывает формат данных, расположение и другие свойства таблицы, хранящейся за пределами BigQuery. Определив эти свойства, к источнику данных можно обращаться так, как если бы это была стандартная таблица BigQuery. Возвращается: при успехе |
|
autodetect boolean |
Попытаться автоматически определить схему и параметры формата. Любой параметр, указанный явно, будет учтен. Возвращается: при успехе |
|
bigtableOptions complex |
Дополнительные параметры, если sourceFormat установлен в BIGTABLE. Возвращается: при успехе |
|
columnFamilies complex |
Список семейств столбцов, которые будут представлены в схеме таблицы вместе с их типами. Возвращается: при успехе |
|
columns complex |
Списки столбцов, которые должны быть представлены как отдельные поля, а не как список пар (имя столбца, значение). Возвращается: при успехе |
|
encoding string |
Кодировка значений, когда тип не STRING. Возвращается: при успехе |
|
fieldName string |
Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца, и он используется в качестве имени поля в запросах. Возвращается: при успехе |
|
onlyReadLatest boolean |
Если это установлено, отображаются только последние версии значений в этом столбце. Возвращается: при успехе |
|
qualifierString string |
Квалификатор столбца. Возвращается: при успехе |
|
type string |
Тип для преобразования значения в ячейках этого столбца. Возвращается: при успехе |
|
encoding string |
Кодировка значений, когда тип не STRING. Возвращается: при успехе |
|
familyId string |
Идентификатор семейства столбцов. Returned: success |
|
onlyReadLatest boolean |
Если это установлено, только последняя версия значения отображается для всех столбцов в этом семействе столбцов. Returned: success |
|
type string |
Тип для преобразования значения в ячейках этого семейства столбцов. Returned: success |
|
ignoreUnspecifiedColumnFamilies boolean |
Если поле истинно, то семейства столбцов, которые не указаны в списке columnFamilies, не отображаются в схеме таблицы. Returned: success |
|
readRowkeyAsString boolean |
Если поле истинно, то семейства столбцов rowkey будут считаны и преобразованы в строку. Returned: success |
|
compression string |
Тип сжатия источника данных. Returned: success |
|
csvOptions complex |
Дополнительные свойства для установки, если sourceFormat установлен в CSV. Returned: success |
|
allowJaggedRows boolean |
Указывает, следует ли BigQuery принимать строки, в которых отсутствуют конечные необязательные столбцы. Returned: success |
|
allowQuotedNewlines boolean |
Указывает, следует ли BigQuery разрешать разделы данных в кавычках, которые содержат символы новой строки в CSV-файле. Returned: success |
|
encoding string |
Кодировка символов данных. Returned: success |
|
fieldDelimiter string |
Разделитель для полей в CSV-файле. Returned: success |
|
quote string |
Значение, используемое для заключения разделов данных в кавычки в CSV-файле. Returned: success |
|
skipLeadingRows integer |
Количество строк в верхней части CSV-файла, которые BigQuery пропустит при чтении данных. Returned: success |
|
googleSheetsOptions complex |
Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. Returned: success |
|
skipLeadingRows integer |
Количество строк в верхней части Google Таблицы, которые BigQuery пропустит при чтении данных. Returned: success |
|
ignoreUnknownValues boolean |
Указывает, следует ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. Returned: success |
|
maxBadRecords integer |
Максимальное количество ошибочных записей, которые BigQuery может игнорировать при чтении данных. Returned: success |
|
schema complex |
Схема для данных. Схема необходима для форматов CSV и JSON. Returned: success |
|
fields complex |
Описывает поля в таблице. Returned: success |
|
description string |
Описание поля. Возвращено: success |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. Возвращено: success |
|
mode string |
Режим поля. Возвращено: success |
|
name string |
Имя поля. Возвращено: success |
|
type string |
Тип данных поля. Возвращено: success |
|
sourceFormat string |
Формат данных. Возвращено: success |
|
sourceUris list / elements=string |
Полностью квалифицированные URI, указывающие на ваши данные в Google Cloud. Для URI хранилища Google Cloud: Каждый URI может содержать один подстановочный знак «*», и он должен идти после имени «bucket». К внешним источникам данных применяются ограничения размера, связанные с заданиями загрузки. Для URI Google Cloud Bigtable: Можно указать ровно один URI, и он должен быть полностью указанным и действительным URL-адресом HTTPS для таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, подстановочный знак «*» не допускается. Возвращено: success |
|
friendlyName string |
Описательное имя для этой таблицы. Возвращено: success |
|
id string |
Непрозрачный ID, однозначно идентифицирующий таблицу. Возвращено: success |
|
labels dictionary |
Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки ваших наборов данных. Возвращено: success |
|
lastModifiedTime integer |
Время последнего изменения этой таблицы в миллисекундах с начала эпохи. Возвращено: success |
|
location string |
Географическое местоположение, где находится таблица. Это значение наследуется от набора данных. Возвращено: success |
|
name string |
Имя таблицы. Возвращено: success |
|
numBytes integer |
Размер этой таблицы в байтах, без учета данных в буфере потоковой передачи. Возвращено: success |
|
numLongTermBytes integer |
Количество байтов в таблице, которые считаются «долговременным хранилищем». Возвращено: success |
|
numRows integer |
Количество строк данных в этой таблице, без учета данных в буфере потоковой передачи. Возвращено: success |
|
requirePartitionFilter boolean |
Если установлено значение true, запросы к этой таблице требуют указания фильтра разделов, который можно использовать для исключения разделов. Возвращено: success |
|
schema complex |
Описывает схему этой таблицы. Возвращено: success |
|
fields complex |
Описывает поля в таблице. Возвращено: success |
|
description string |
Описание поля. Максимальная длина — 1024 символа. Возвращено: success |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. Возвращено: success |
|
mode string |
Режим поля. Возвращено: success |
|
name string |
Имя поля. Возвращено: success |
|
type string |
Тип данных поля. Возвращено: success |
|
streamingBuffer complex |
Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле будет отсутствовать, если потоковая передача в таблицу не выполняется или если в буфере потоковой передачи нет данных. Возвращено: success |
|
estimatedBytes integer |
Нижняя граница оценки количества байтов, в настоящее время находящихся в буфере потоковой передачи. Возвращено: success |
|
estimatedRows integer |
Нижняя граница оценки количества строк, в настоящее время находящихся в буфере потоковой передачи. Возвращено: success |
|
oldestEntryTime integer |
Содержит метку времени самой старой записи в буфере потоковой передачи в миллисекундах с момента эпохи, если буфер потоковой передачи доступен. Возвращено: success |
|
tableReference complex |
Ссылка, описывающая ID этой таблицы. Возвращено: success |
|
datasetId string |
ID набора данных, содержащего эту таблицу. Возвращено: success |
|
projectId string |
ID проекта, содержащего эту таблицу. Возвращено: success |
|
tableId string |
ID таблицы. Возвращено: success |
|
timePartitioning complex |
Если указано, настраивает разбиение на основе времени для этой таблицы. Возвращено: success |
|
expirationMs integer |
Количество миллисекунд, в течение которых необходимо хранить хранилище для раздела. Возвращено: success |
|
field string |
Если не установлено, таблица разбита на разделы по псевдостолбцу, ссылающемуся либо на «_PARTITIONTIME» как тип TIMESTAMP, либо на «_PARTITIONDATE» как тип DATE. Если указано поле, таблица вместо этого разбита на разделы по этому полю. Поле должно быть полем TIMESTAMP или DATE верхнего уровня. Его режим должен быть NULLABLE или REQUIRED. Возвращено: success |
|
type string |
Поддерживается только тип DAY, который будет создавать один раздел в день. Возвращено: success |
|
type string |
Описывает тип таблицы. Возвращено: success |
|
view complex |
Определение представления. Возвращено: success |
|
useLegacySql boolean |
Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. Возвращено: success |
|
userDefinedFunctionResources complex |
Описывает ресурсы пользовательских функций, используемые в запросе. Возвращено: success |
|
inlineCode string |
Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление встроенного кода эквивалентно предоставлению URI файла, содержащего тот же код. Возвращаемое значение: success |
|
resourceUri string |
Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). Возвращаемое значение: success |
Ссылки на коллекцию
© 2012–2018 Michael DeHaan
© 2018–2024 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/latest/collections/google/cloud/gcp_bigquery_table_info_module.html