Модуль google.cloud.gcp_bigquery_table – Создает таблицу GCP
Примечание
Этот модуль является частью коллекции google.cloud (версия 1.4.1).
Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не включена в ansible-core. Чтобы проверить, установлена ли она, запустите ansible-galaxy collection list.
Для установки используйте: ansible-galaxy collection install google.cloud. Для использования этого модуля требуются дополнительные компоненты, см. Требования для получения подробной информации.
Для использования в playbook, укажите: google.cloud.gcp_bigquery_table.
Краткое описание
- Таблица, принадлежащая набору данных.
Требования
Ниже указаны требования, необходимые на хосте, который выполняет этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
Параметр | Комментарии |
|---|---|
access_token string | Токен доступа OAuth2, если тип учетных данных — accesstoken. |
auth_kind string / required | Тип используемых учетных данных. Варианты:
|
clustering list / elements=string | Одно или несколько полей, по которым должны быть сгруппированы данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простого типа. При кластеризации таблицы с использованием нескольких столбцов порядок указанных столбцов важен. Порядок указанных столбцов определяет порядок сортировки данных. |
dataset string | Название набора данных. |
description string | Понятное описание набора данных для пользователя. |
encryption_configuration dictionary | Настраиваемая конфигурация шифрования. |
|
kms_key_name string |
Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетной записи сервисного обслуживания BigQuery, связанной с вашим проектом, необходим доступ к этому ключу шифрования. |
env_type string | Указывает, в какой среде Ansible вы запускаете этот модуль. Это не должно быть установлено, если вы не знаете, что делаете. Это изменяет только строку User Agent для любых запросов API. |
expiration_time integer | Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если отсутствует, таблица будет существовать бесконечно. |
external_data_configuration dictionary | Описывает формат данных, местоположение и другие свойства таблицы, хранящейся за пределами BigQuery. Определив эти свойства, к источнику данных можно обращаться так, как если бы это была стандартная таблица BigQuery. |
|
autodetect boolean |
Попытка автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтен. Варианты:
|
|
bigtable_options dictionary |
Дополнительные параметры, если sourceFormat установлен в BIGTABLE. |
|
column_families list / elements=dictionary |
Список семейств столбцов, которые нужно показать в схеме таблицы, а также их типы. |
|
columns list / elements=dictionary |
Списки столбцов, которые должны быть показаны как отдельные поля, а не как список пар (имя столбца, значение). |
|
encoding string |
Кодировка значений, когда тип не STRING. Некоторые допустимые варианты: “TEXT”, “BINARY” |
|
field_name string |
Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца, и он используется как имя поля в запросах. |
|
only_read_latest boolean |
Если это установлено, отображаются только последние версии значений в этом столбце. Варианты:
|
|
qualifier_string string / required |
Квалификатор столбца. |
|
type string |
Тип для преобразования значения в ячейках этого столбца. Некоторые допустимые варианты: “BYTES”, “STRING”, “INTEGER”, “FLOAT”, “BOOLEAN” |
|
encoding string |
Кодировка значений, когда тип не STRING. Некоторые допустимые варианты: “TEXT”, “BINARY” |
|
family_id string |
Идентификатор семейства столбцов. |
|
only_read_latest boolean |
Если это установлено, отображаются только последние версии значений для всех столбцов в этом семействе столбцов. Варианты:
|
|
type string |
Тип для преобразования значения в ячейках этого семейства столбцов. Некоторые допустимые варианты: “BYTES”, “STRING”, “INTEGER”, “FLOAT”, “BOOLEAN” |
|
ignore_unspecified_column_families boolean |
Если поле истинно, то семейства столбцов, которые не указаны в списке columnFamilies, не отображаются в схеме таблицы. Варианты:
|
|
read_rowkey_as_string boolean |
Если поле истинно, то семейства столбцов rowkey будут считаны и преобразованы в строку. Варианты:
|
|
compression string |
Тип сжатия источника данных. Некоторые допустимые варианты: “GZIP”, “NONE” |
|
csv_options dictionary |
Дополнительные свойства для установки, если sourceFormat установлен в CSV. |
|
allow_jagged_rows boolean |
Указывает, следует ли BigQuery принимать строки, в которых отсутствуют завершающие необязательные столбцы. Варианты:
|
|
allow_quoted_newlines boolean |
Указывает, следует ли BigQuery разрешать кавычки в разделах данных, содержащих символы новой строки в CSV-файле. Варианты:
|
|
encoding string |
Кодировка данных. Некоторые допустимые варианты: “UTF-8”, “ISO-8859-1” |
|
field_delimiter string |
Разделитель полей в CSV-файле. |
|
quote string |
Значение, используемое для заключения разделов данных в кавычки в CSV-файле. |
|
skip_leading_rows integer |
Количество строк в начале CSV-файла, которые BigQuery пропустит при чтении данных. |
|
google_sheets_options dictionary |
Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. |
|
skip_leading_rows integer |
Количество строк в начале таблицы Google, которые BigQuery пропустит при чтении данных. |
|
ignore_unknown_values boolean |
Указывает, следует ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. Варианты:
|
|
max_bad_records integer |
Максимальное количество ошибочных записей, которые BigQuery может игнорировать при чтении данных. |
|
schema dictionary |
Схема данных. Схема необходима для форматов CSV и JSON. |
|
fields list / elements=dictionary |
Описывает поля в таблице. |
|
description string |
Описание поля. |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. |
|
mode string |
Режим поля. Некоторые допустимые варианты: “NULLABLE”, “REQUIRED”, “REPEATED” |
|
name string |
Имя поля. |
|
type string |
Тип данных поля. Некоторые допустимые варианты: “STRING”, “BYTES”, “INTEGER”, “FLOAT”, “TIMESTAMP”, “DATE”, “TIME”, “DATETIME”, “RECORD” |
|
source_format string |
Формат данных. Некоторые допустимые варианты: “CSV”, “GOOGLE_SHEETS”, “NEWLINE_DELIMITED_JSON”, “AVRO”, “DATASTORE_BACKUP”, “BIGTABLE”, “ORC” |
|
source_uris list / elements=string |
Полностью квалифицированные URI, указывающие на ваши данные в Google Cloud. Для URI хранилища Google Cloud: каждый URI может содержать один подстановочный знак ‘*’, и он должен идти после имени ‘bucket’. К внешним источникам данных применяются ограничения размера, связанные с заданиями загрузки. Для URI Google Cloud Bigtable: можно указать ровно один URI, и он должен быть полностью указанным и действительным URL HTTPS для таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, подстановочный знак ‘*’ не допускается. |
friendly_name string | Описание этой таблицы. |
labels dictionary | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки ваших наборов данных. |
name string | Имя таблицы. |
num_rows integer | Количество строк данных в этой таблице, за исключением любых данных в буфере потоковой передачи. |
project string | Проект Google Cloud Platform для использования. |
schema dictionary | Описывает схему этой таблицы. |
|
fields list / elements=dictionary |
Описывает поля в таблице. |
|
description string |
Описание поля. Максимальная длина — 1024 символа. |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. |
|
mode string |
Режим поля. Некоторые допустимые значения: “NULLABLE”, “REQUIRED”, “REPEATED” |
|
name string |
Имя поля. |
|
type string |
Тип данных поля. Некоторые допустимые значения: “STRING”, “BYTES”, “INTEGER”, “FLOAT”, “TIMESTAMP”, “DATE”, “TIME”, “DATETIME”, “RECORD” |
scopes list / elements=string | Массив используемых областей |
service_account_contents jsonarg | Содержимое файла Service Account JSON, либо в виде словаря, либо в виде представляющей его JSON-строки. |
service_account_email string | Необязательный адрес электронной почты учетной записи службы, если выбран machineaccount и пользователь не хочет использовать адрес электронной почты по умолчанию. |
service_account_file path | Путь к файлу Service Account JSON, если в качестве типа выбран serviceaccount. |
state string | Должен ли данный объект существовать в GCP Варианты:
|
table_reference dictionary | Ссылка, описывающая ID этой таблицы. |
|
dataset_id string |
ID набора данных, содержащего эту таблицу. |
|
project_id string |
ID проекта, содержащего эту таблицу. |
|
table_id string |
ID таблицы. |
time_partitioning dictionary | Если указано, настраивает разбиение на основе времени для этой таблицы. |
|
expiration_ms integer |
Количество миллисекунд, в течение которых необходимо хранить данные раздела. |
|
field string |
Если не установлено, таблица разбивается на разделы по псевдоколонке, ссылающейся либо на «_PARTITIONTIME» как тип TIMESTAMP, либо на «_PARTITIONDATE» как тип DATE. Если указано поле, таблица вместо этого разбивается на разделы по этому полю. Поле должно быть полем TIMESTAMP или DATE верхнего уровня. Его режим должен быть NULLABLE или REQUIRED. |
|
type string |
Поддерживается только тип DAY, который будет генерировать один раздел в день. Некоторые допустимые значения: “DAY” |
view dictionary | Определение представления. |
|
use_legacy_sql boolean |
Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. Варианты:
|
|
user_defined_function_resources list / elements=dictionary |
Описывает ресурсы пользовательских функций, используемые в запросе. |
|
inline_code string |
Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление ресурса встроенного кода эквивалентно предоставлению URI для файла, содержащего тот же код. |
|
resource_uri string |
Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). |
Примеры
- name: create a dataset
google.cloud.gcp_bigquery_dataset:
name: example_dataset
dataset_reference:
dataset_id: example_dataset
project: "{{ gcp_project }}"
auth_kind: "{{ gcp_cred_kind }}"
service_account_file: "{{ gcp_cred_file }}"
state: present
register: dataset
- name: create a table
google.cloud.gcp_bigquery_table:
name: example_table
dataset: example_dataset
table_reference:
dataset_id: example_dataset
project_id: test_project
table_id: example_table
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: present
Возвращаемые значения
Общие возвращаемые значения задокументированы здесь, следующие поля уникальны для этого модуля:
Ключ | Описание |
|---|---|
clustering list / elements=string | Одно или несколько полей, по которым должны быть сгруппированы данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простого типа. При кластеризации таблицы с использованием нескольких столбцов порядок указанных столбцов важен. Порядок указанных столбцов определяет порядок сортировки данных. Возвращается: success |
creationTime integer | Время создания этого набора данных в миллисекундах с момента эпохи. Возвращается: success |
dataset string | Имя набора данных. Возвращается: success |
description string | Описание набора данных, понятное пользователю. Возвращается: success |
encryptionConfiguration complex | Настраиваемая конфигурация шифрования. Возвращается: success |
|
kmsKeyName string |
Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервисного агента BigQuery, связанная с вашим проектом, требует доступа к этому ключу шифрования. Возвращается: success |
expirationTime integer | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если отсутствует, таблица будет существовать бесконечно. Возвращается: success |
externalDataConfiguration complex | Описывает формат данных, местоположение и другие свойства таблицы, хранящейся за пределами BigQuery. Определив эти свойства, к источнику данных можно обращаться так же, как к стандартной таблице BigQuery. Возвращается: success |
|
autodetect boolean |
Попытаться автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтен. Возвращается: success |
|
bigtableOptions complex |
Дополнительные параметры, если sourceFormat установлен в BIGTABLE. Возвращается: success |
|
columnFamilies complex |
Список семейств столбцов, которые будут показаны в схеме таблицы вместе с их типами. Возвращается: success |
|
columns complex |
Списки столбцов, которые должны быть показаны как отдельные поля, а не как список пар (имя столбца, значение). Возвращается: success |
|
encoding string |
Кодировка значений, когда тип не STRING. Возвращается: success |
|
fieldName string |
Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца, и он будет использоваться как имя поля в запросах. Возвращается: success |
|
onlyReadLatest boolean |
Если это установлено, отображаются только последние версии значений в этом столбце. Возвращается: success |
|
qualifierString string |
Квалификатор столбца. Возвращается: success |
|
type string |
Тип для преобразования значения в ячейках этого столбца. Возвращается: success |
|
encoding string |
Кодировка значений, когда тип не STRING. Возвращается: success |
|
familyId string |
Идентификатор семейства столбцов. Возвращается: success |
|
onlyReadLatest boolean |
Если это установлено, отображаются только последние версии значений для всех столбцов в этом семействе столбцов. Возвращается: success |
|
type string |
Тип для преобразования значения в ячейках этого семейства столбцов. Возвращается: success |
|
ignoreUnspecifiedColumnFamilies boolean |
Если поле истинно, то семейства столбцов, которые не указаны в списке columnFamilies, не отображаются в схеме таблицы. Возвращается: success |
|
readRowkeyAsString boolean |
Если поле истинно, то семейства столбцов rowkey будут прочитаны и преобразованы в строку. Возвращается: success |
|
compression string |
Тип сжатия источника данных. Возвращается: success |
|
csvOptions complex |
Дополнительные свойства для установки, если sourceFormat установлен в CSV. Возвращено: success |
|
allowJaggedRows boolean |
Указывает, следует ли BigQuery принимать строки, в которых отсутствуют завершающие необязательные столбцы. Возвращено: success |
|
allowQuotedNewlines boolean |
Указывает, следует ли BigQuery разрешать разряды данных, содержащие символы новой строки в файле CSV. Возвращено: success |
|
encoding string |
Кодировка символов данных. Возвращено: success |
|
fieldDelimiter string |
Разделитель для полей в файле CSV. Возвращено: success |
|
quote string |
Значение, используемое для обозначения разделов данных в файле CSV. Возвращено: success |
|
skipLeadingRows integer |
Количество строк в начале файла CSV, которые BigQuery пропустит при чтении данных. Возвращено: success |
|
googleSheetsOptions complex |
Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. Возвращено: success |
|
skipLeadingRows integer |
Количество строк в начале Google Таблицы, которые BigQuery пропустит при чтении данных. Возвращено: success |
|
ignoreUnknownValues boolean |
Указывает, следует ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. Возвращено: success |
|
maxBadRecords integer |
Максимальное количество ошибочных записей, которые BigQuery может игнорировать при чтении данных. Возвращено: success |
|
schema complex |
Схема для данных. Схема обязательна для форматов CSV и JSON. Возвращено: success |
|
fields complex |
Описывает поля в таблице. Возвращено: success |
|
description string |
Описание поля. Возвращено: success |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. Возвращено: success |
|
mode string |
Режим поля. Возвращено: success |
|
name string |
Имя поля. Возвращено: success |
|
type string |
Тип данных поля. Возвращено: success |
|
sourceFormat string |
Формат данных. Возвращено: success |
|
sourceUris list / elements=string |
Полностью квалифицированные URI, указывающие на ваши данные в Google Cloud. Для URI хранилища Google Cloud: каждый URI может содержать один подстановочный знак «*», и он должен идти после имени «bucket». Ограничения размера, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: можно указать ровно один URI, и он должен быть полностью указанным и действительным URL-адресом HTTPS для таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, подстановочный знак «*» не допускается. Возвращено: success |
friendlyName string | Описательное имя для этой таблицы. Возвращено: success |
id string | Непрозрачный ID, однозначно идентифицирующий таблицу. Возвращено: success |
labels dictionary | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки ваших наборов данных. Возвращено: success |
lastModifiedTime integer | Время последнего изменения этой таблицы в миллисекундах с момента эпохи. Возвращено: success |
location string | Географическое местоположение, где находится таблица. Это значение наследуется от набора данных. Возвращено: success |
name string | Имя таблицы. Возвращено: success |
numBytes integer | Размер этой таблицы в байтах, за исключением любых данных в буфере потоковой передачи. Возвращено: success |
numLongTermBytes integer | Количество байтов в таблице, которые считаются «долгосрочным хранилищем». Возвращено: success |
numRows integer | Количество строк данных в этой таблице, за исключением любых данных в буфере потоковой передачи. Возвращено: success |
requirePartitionFilter boolean | Если установлено значение true, запросы к этой таблице требуют указания фильтра разделов, который может использоваться для исключения разделов. Возвращено: success |
schema complex | Описывает схему этой таблицы. Возвращено: success |
|
fields complex |
Описывает поля в таблице. Возвращено: success |
|
description string |
Описание поля. Максимальная длина — 1024 символа. Возвращено: success |
|
fields list / elements=string |
Описывает вложенные поля схемы, если свойство type установлено в RECORD. Возвращено: success |
|
mode string |
Режим поля. Возвращено: success |
|
name string |
Имя поля. Возвращено: success |
|
type string |
Тип данных поля. Возвращено: success |
streamingBuffer complex | Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле будет отсутствовать, если в таблицу не ведется потоковая передача или если в буфере потоковой передачи нет данных. Возвращено: success |
|
estimatedBytes integer |
Приблизительная оценка нижней границы количества байтов, в данный момент находящихся в буфере потоковой передачи. Возвращено: success |
|
estimatedRows integer |
Приблизительная оценка нижней границы количества строк, в данный момент находящихся в буфере потоковой передачи. Возвращено: success |
|
oldestEntryTime integer |
Содержит метку времени самой старой записи в буфере потоковой передачи в миллисекундах с начала эпохи, если буфер потоковой передачи доступен. Возвращено: success |
tableReference complex | Ссылка, описывающая ID этой таблицы. Возвращено: success |
|
datasetId string |
ID набора данных, содержащего эту таблицу. Возвращено: success |
|
projectId string |
ID проекта, содержащего эту таблицу. Возвращено: success |
|
tableId string |
ID таблицы. Возвращено: success |
timePartitioning complex | При указании настраивает разбиение на основе времени для этой таблицы. Возвращено: success |
|
expirationMs integer |
Количество миллисекунд, в течение которых необходимо хранить данные для раздела. Возвращено: success |
|
field string |
Если не задано, таблица разбивается на разделы псевдостолбцом, ссылающимся либо на «_PARTITIONTIME» как тип TIMESTAMP, либо на «_PARTITIONDATE» как тип DATE. Если указано поле, таблица вместо этого разбивается на разделы по этому полю. Поле должно быть полем TIMESTAMP или DATE верхнего уровня. Его режим должен быть NULLABLE или REQUIRED. Возвращено: success |
|
type string |
Поддерживается только тип DAY, который будет создавать один раздел в день. Возвращено: success |
type string | Описывает тип таблицы. Возвращено: success |
view complex | Определение представления. Возвращено: success |
|
useLegacySql boolean |
Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. Возвращено: success |
|
userDefinedFunctionResources complex |
Описание ресурсов пользовательских функций, используемых в запросе. Возвращается: success |
|
inlineCode string |
Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление встроенного ресурса кода эквивалентно предоставлению URI для файла, содержащего тот же код. Возвращается: success |
|
resourceUri string |
Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). Возвращается: success |
Ссылки на коллекцию
© 2012–2018 Michael DeHaan
© 2018–2024 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/latest/collections/google/cloud/gcp_bigquery_table_module.html
