gcp_bigquery_table – Создаёт таблицу GCP
Новая в версии 2.8.
Описание
- Таблица, которая принадлежит набору данных.
Требования
Ниже перечислены требования, необходимые на хосте, который выполняет этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
| Параметр | Варианты/Значения по умолчанию | Комментарии | ||||
|---|---|---|---|---|---|---|
| auth_kind строка / обязательно |
| Тип используемых учетных данных. | ||||
| clustering список добавлено в 2.9 | Один или несколько полей, по которым должны быть сгруппированы данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простых типов. При группировке таблицы по нескольким столбцам порядок столбцов имеет значение. Порядок указанных столбцов определяет порядок сортировки данных. | |||||
| dataset строка | Имя набора данных. | |||||
| description строка | Наглядное описание набора данных. | |||||
| encryption_configuration словарь | Настройка пользовательской шифровки. | |||||
| kms_key_name строка | Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетной записи службы BigQuery, связанной с вашим проектом, требуется доступ к этому ключу шифрования. | |||||
| env_type строка | Указывает, в какой среде Ansible выполняется этот модуль. Не следует устанавливать, если вы не знаете, что делаете. Это изменяет только строку User Agent для всех запросов API. | |||||
| expiration_time целое число | Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если не указано, таблица будет существовать неопределенно. | |||||
| external_data_configuration словарь | Описание формата данных, расположения и других свойств таблицы, хранящейся вне BigQuery. Определив эти свойства, источник данных может быть запрошен так, как если бы это была стандартная таблица BigQuery. | |||||
| autodetect логическое значение |
| Попробовать автоматически определить схему и форматы. Любой явно указанный параметр будет учтён. | ||||
| bigtable_options словарь | Дополнительные параметры, если sourceFormat задан как BIGTABLE. | |||||
| column_families список | Список семейств столбцов, которые следует отобразить в схеме таблицы вместе с их типами. | |||||
| columns список | Список столбцов, которые должны быть отображены как отдельные поля, а не как пары (имя столбца, значение). | |||||
| encoding строка | Кодировка значений, если тип не STRING. Некоторые допустимые значения: "TEXT", "BINARY" | |||||
| field_name строка | Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца, который используется в качестве имени поля в запросах. | |||||
| only_read_latest логическое значение |
| Если установлено, отображается только последняя версия значения в этом столбце. | ||||
| qualifier_string строка / обязательно | Квалификатор столбца. | |||||
| type строка | Тип преобразования значения в ячейках этого столбца. Некоторые допустимые значения: "BYTES", "STRING", "INTEGER", "FLOAT", "BOOLEAN" | |||||
| encoding строка | Кодировка значений, если тип не STRING. Некоторые допустимые значения: "TEXT", "BINARY" | |||||
| family_id строка | Идентификатор семейства столбцов. | |||||
| only_read_latest логическое значение |
| Если установлено, отображается только последняя версия значения для всех столбцов в этом семействе столбцов. | ||||
| type строка | Тип преобразования значения в ячейках этого семейства столбцов. Некоторые допустимые значения: "BYTES", "STRING", "INTEGER", "FLOAT", "BOOLEAN" | |||||
| ignore_unspecified_column_families логическое значение |
| Если поле равно true, семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| read_rowkey_as_string логическое значение |
| Если поле равно true, семейства столбцов rowkey будут читаться и преобразовываться в строку. | ||||
| compression строка | Тип сжатия источника данных. Некоторые допустимые значения: "GZIP", "NONE" | |||||
| csv_options словарь | Дополнительные свойства, если sourceFormat задан как CSV. | |||||
| allow_jagged_rows логическое значение |
| Указывает, должно ли BigQuery принимать строки, в которых отсутствуют хвостовые необязательные столбцы. | ||||
| allow_quoted_newlines логическое значение |
| Указывает, должно ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки в файле CSV. | ||||
| encoding строка | Кодировка символов данных. Некоторые допустимые значения: "UTF-8", "ISO-8859-1" | |||||
| field_delimiter строка | Разделитель полей в файле CSV. | |||||
| quote строка | Значение, используемое для цитирования разделов данных в файле CSV. | |||||
| skip_leading_rows целое число | Значение по умолчанию: "0" | Количество строк в начале файла CSV, которое BigQuery пропустит при чтении данных. | ||||
| google_sheets_options словарь | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | |||||
| skip_leading_rows целое число | По умолчанию: "0" | Количество строк вверху Google Таблицы, которые BigQuery пропустит при чтении данных. | ||||
| ignore_unknown_values логическое значение |
| Указывает, должен ли BigQuery разрешать дополнительные значения, не представленные в схеме таблицы. | ||||
| max_bad_records целое число | По умолчанию: "0" | Максимальное количество плохих записей, которые BigQuery может пропустить при чтении данных. | ||||
| schema словарь | Схема данных. Схема требуется для форматов CSV и JSON. | |||||
| fields список | Описывает поля в таблице. | |||||
| description строка | Описание поля. | |||||
| fields список | Описывает поля вложенной схемы, если свойство type установлено в RECORD. | |||||
| mode строка | Режим поля. Некоторые допустимые значения: "NULLABLE", "REQUIRED", "REPEATED" | |||||
| name строка | Имя поля. | |||||
| type строка | Тип данных поля. Некоторые допустимые значения: "STRING", "BYTES", "INTEGER", "FLOAT", "TIMESTAMP", "DATE", "TIME", "DATETIME", "RECORD" | |||||
| source_format строка | Формат данных. Некоторые допустимые значения: "CSV", "GOOGLE_SHEETS", "NEWLINE_DELIMITED_JSON", "AVRO", "DATASTORE_BACKUP", "BIGTABLE" | |||||
| source_uris список | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: Каждый URI может содержать один символ «*» для подстановки, и он должен следовать за именем «bucket». Ограничения по размеру, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: Можно указать ровно один URI, и он должен быть полностью указанным и корректным HTTPS-адресом таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Также символ «*» для подстановки запрещен. | |||||
| friendly_name строка | Дескриптивное имя для этой таблицы. | |||||
| labels словарь | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки наборов данных. | |||||
| name строка | Имя таблицы. | |||||
| num_rows целое число добавлено в 2.9 | Количество строк данных в этой таблице, за исключением данных в буфере потоковой передачи. | |||||
| project строка | Проект Google Cloud Platform для использования. | |||||
| schema словарь | Описание схемы этой таблицы. | |||||
| fields список | Описывает поля в таблице. | |||||
| description строка | Описание поля. Максимальная длина 1024 символа. | |||||
| fields список | Описывает поля вложенной схемы, если свойство type установлено в RECORD. | |||||
| mode строка | Режим поля. Некоторые допустимые значения: "NULLABLE", "REQUIRED", "REPEATED" | |||||
| name строка | Имя поля. | |||||
| type строка | Тип данных поля. Некоторые допустимые значения: "STRING", "BYTES", "INTEGER", "FLOAT", "TIMESTAMP", "DATE", "TIME", "DATETIME", "RECORD" | |||||
| scopes список | Массив используемых областей. | |||||
| service_account_contents jsonarg | Содержимое файла JSON учетной записи службы, либо в словаре, либо как строка JSON, которая его представляет. | |||||
| service_account_email строка | Дополнительный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать адрес по умолчанию. | |||||
| service_account_file путь | Путь к файлу JSON учетной записи службы, если serviceaccount выбран в качестве типа. | |||||
| state строка |
| Существует ли данный объект в GCP | ||||
| table_reference словарь | Ссылка, описывающая идентификатор этой таблицы. | |||||
| dataset_id строка | Идентификатор набора данных, содержащего эту таблицу. | |||||
| project_id строка | Идентификатор проекта, содержащего эту таблицу. | |||||
| table_id строка | Идентификатор таблицы. | |||||
| time_partitioning словарь | При указании настраивает временное разбиение для этой таблицы. | |||||
| expiration_ms целое число | Количество миллисекунд, в течение которых хранится хранилище для раздела. | |||||
| field строка добавлено в 2.9 | Если не указано, таблица разделяется по псевдостолбцу, который ссылается на '_PARTITIONTIME' как тип TIMESTAMP или '_PARTITIONDATE' как тип DATE. Если поле указано, таблица вместо этого разделяется по этому полю. Поле должно быть верхнеуровневым полем TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED. | |||||
| type строка | Поддерживается только тип DAY, который будет генерировать один раздел в день. Некоторые допустимые значения: "DAY" | |||||
| view словарь | Определение представления. | |||||
| use_legacy_sql boolean |
| Указывает, использовать ли legacy SQL BigQuery для этого представления. | ||||
| user_defined_function_resources список | Описывает ресурсы пользовательских функций, используемые в запросе. | |||||
| inline_code строка | Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление ресурса встроенного кода эквивалентно предоставлению URI для файла, содержащего тот же код. | |||||
| resource_uri строка | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | |||||
Примечания
Примечание
- Для аутентификации можно установить service_account_file с помощью переменной среды c(gcp_service_account_file).
- Для аутентификации можно установить service_account_contents с помощью переменной среды c(GCP_SERVICE_ACCOUNT_CONTENTS).
- Для аутентификации можно установить service_account_email с помощью переменной среды
GCP_SERVICE_ACCOUNT_EMAIL. - Для аутентификации можно установить auth_kind с помощью переменной среды
GCP_AUTH_KIND. - Для аутентификации можно установить scopes с помощью переменной среды
GCP_SCOPES. - Значения переменных среды будут использоваться только в том случае, если значения в плейбуке не заданы.
- Параметры service_account_email и service_account_file взаимоисключающие.
Примеры
- name: create a dataset
gcp_bigquery_dataset:
name: example_dataset
dataset_reference:
dataset_id: example_dataset
project: "{{ gcp_project }}"
auth_kind: "{{ gcp_cred_kind }}"
service_account_file: "{{ gcp_cred_file }}"
state: present
register: dataset
- name: create a table
gcp_bigquery_table:
name: example_table
dataset: example_dataset
table_reference:
dataset_id: example_dataset
project_id: test_project
table_id: example_table
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: present
Значения возврата
Общие значения возврата описаны здесь, ниже приведены поля, уникальные для данного модуля:
| Ключевые слова | Возвращаемое значение | Описание | ||||
|---|---|---|---|---|---|---|
| clustering список | успех | Одно или несколько полей, по которым следует кластеризовать данные. Поддерживаются только поля верхнего уровня, не повторяющиеся и простого типа. При кластеризации таблицы по нескольким столбцам важен порядок столбцов. Порядок указанных столбцов определяет порядок сортировки данных. | ||||
| creationTime целое число | успех | Время создания этого набора данных в миллисекундах с момента эпохи. | ||||
| dataset строка | успех | Имя набора данных. | ||||
| description строка | успех | Понятное описание набора данных. | ||||
| encryptionConfiguration сложный | успех | Настройка пользовательского шифрования. | ||||
| kmsKeyName строка | успех | Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервиса BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. | ||||
| expirationTime целое число | успех | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если этот параметр отсутствует, таблица будет существовать неограниченно. | ||||
| externalDataConfiguration сложный | успех | Описание формата данных, расположения и других свойств таблицы, хранящейся вне BigQuery. Определяя эти свойства, источник данных можно будет запросить так, как если бы это была стандартная таблица BigQuery. | ||||
| autodetect булево | успех | Попытка автоматически обнаружить схему и параметры формата. Любой явным образом заданный параметр будет учтен. | ||||
| bigtableOptions сложный | успех | Дополнительные параметры, если sourceFormat задан как BIGTABLE. | ||||
| columnFamilies сложный | успех | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | ||||
| columns сложный | успех | Список столбцов, которые должны быть отображены как отдельные поля, а не как список пар (имя столбца, значение). | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| fieldName строка | успех | Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо предоставить допустимый идентификатор в качестве имени поля столбца, который используется как имя поля в запросах. | ||||
| onlyReadLatest булево | успех | Если это установлено, отображается только последняя версия значения в этом столбце. | ||||
| qualifierString строка | успех | Квалификатор столбца. | ||||
| type строка | успех | Тип преобразования значения в ячейках этого столбца. | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| familyId строка | успех | Идентификатор семейства столбцов. | ||||
| onlyReadLatest булево | успех | Если это установлено, отображается только последняя версия значения для всех столбцов в этом семействе столбцов. | ||||
| type строка | успех | Тип преобразования значения в ячейках этого семейства столбцов. | ||||
| ignoreUnspecifiedColumnFamilies булево | успех | Если поле имеет значение true, семейства столбцов, которые не указаны в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| readRowkeyAsString булево | успех | Если поле имеет значение true, семейства столбцов rowkey будут читаться и преобразовываться в строки. | ||||
| compression строка | успех | Тип сжатия источника данных. | ||||
| csvOptions сложный | успех | Дополнительные свойства для задания, если sourceFormat задан как CSV. | ||||
| allowJaggedRows булево | успех | Указывает, следует ли BigQuery принимать строки, которым не хватает конечных необязательных столбцов. | ||||
| allowQuotedNewlines булево | успех | Указывает, следует ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки в CSV-файле. | ||||
| encoding строка | успех | Кодировка символов данных. | ||||
| fieldDelimiter строка | успех | Разделитель полей в CSV-файле. | ||||
| quote строка | успех | Значение, используемое для цитирования разделов данных в CSV-файле. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале CSV-файла, которые BigQuery пропустит при чтении данных. | ||||
| googleSheetsOptions сложный | успех | Дополнительные параметры, если sourceFormat задан как GOOGLE_SHEETS. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале Google Таблицы, которые BigQuery пропустит при чтении данных. | ||||
| ignoreUnknownValues булево | успех | Указывает, следует ли BigQuery допускать дополнительные значения, которые не представлены в схеме таблицы. | ||||
| maxBadRecords целое число | успех | Максимальное количество некорректных записей, которые BigQuery может игнорировать при чтении данных. | ||||
| Схема сложная | успех | Схема данных. Схема обязательна для форматов CSV и JSON. | ||||
| Поля сложная | успех | Описание полей в таблице. | ||||
| Описание строка | успех | Описание поля. | ||||
| Поля список | успех | Описание вложенных полей схемы, если свойство type установлено в RECORD. | ||||
| Режим строка | успех | Режим поля. | ||||
| Имя строка | успех | Имя поля. | ||||
| Тип строка | успех | Тип данных поля. | ||||
| ФорматИсточника строка | успех | Формат данных. | ||||
| УказателиИсточника список | успех | Полностью квалифицированные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ подстановки '*' и должен следовать за именем "bucket". Ограничения по размеру, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: должен быть указан ровно один URI, и он должен быть полностью указанным и допустимым HTTPS-адресом таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, символ подстановки '*' недопустим. | ||||
| ДружественноеИмя строка | успех | Дескриптивное имя для этой таблицы. | ||||
| Идентификатор строка | успех | Непрозрачный идентификатор, уникально определяющий таблицу. | ||||
| Метки словарь | успех | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группирования наборов данных. | ||||
| ПоследнееИзменение целое число | успех | Время последнего изменения этой таблицы в миллисекундах с начала эпохи. | ||||
| Расположение строка | успех | Географическое местоположение, где находится таблица. Это значение унаследовано от набора данных. | ||||
| Имя строка | успех | Имя таблицы. | ||||
| Количество байтов целое число | успех | Размер этой таблицы в байтах, за исключением данных в буфере потоковой передачи. | ||||
| Количество байтов долгосрочного хранения целое число | успех | Количество байтов в таблице, которые считаются "хранилищем долгосрочных данных". | ||||
| Количество строк целое число | успех | Количество строк данных в этой таблице, за исключением данных в буфере потоковой передачи. | ||||
| ТребоватьФильтрРазделения логическое значение | успех | Если установлено в значение true, запросы к этой таблице требуют фильтра разделения, который можно использовать для устранения разделения. | ||||
| Схема сложная | успех | Описание схемы этой таблицы. | ||||
| Поля сложная | успех | Описание полей в таблице. | ||||
| Описание строка | успех | Описание поля. Максимальная длина — 1024 символа. | ||||
| Поля список | успех | Описание вложенных полей схемы, если свойство type установлено в RECORD. | ||||
| Режим строка | успех | Режим поля. | ||||
| Имя строка | успех | Имя поля. | ||||
| Тип строка | успех | Тип данных поля. | ||||
| Буфер потоковой передачи сложная | успех | Содержит информацию о буфере потоковой передачи этой таблицы, если он есть. Это поле отсутствует, если таблица не передается в режиме потоковой передачи или если в буфере потоковой передачи нет данных. | ||||
| Приблизительное количество байтов целое число | успех | Нижняя граница оценки количества байтов, которые в настоящее время находятся в буфере потоковой передачи. | ||||
| Приблизительное количество строк целое число | успех | Нижняя граница оценки количества строк, которые в настоящее время находятся в буфере потоковой передачи. | ||||
| Время самого старого элемента целое число | успех | Содержит метку времени самого старого элемента в буфере потоковой передачи в миллисекундах с начала эпохи, если буфер потоковой передачи доступен. | ||||
| Ссылка на таблицу сложная | успех | Ссылка, описывающая идентификатор этой таблицы. | ||||
| Идентификатор набора данных строка | успех | Идентификатор набора данных, содержащего эту таблицу. | ||||
| Идентификатор проекта строка | успех | Идентификатор проекта, содержащего эту таблицу. | ||||
| Идентификатор таблицы строка | успех | Идентификатор таблицы. | ||||
| Разбиение по времени сложная | успех | Если указано, настраивает разбиение по времени для этой таблицы. | ||||
| Время истечения срока действия (мс) целое число | успех | Количество миллисекунд, в течение которых необходимо хранить данные для раздела. | ||||
| Поле строка | успех | Если не указано, таблица разделяется по псевдостолбцу, на который ссылаются либо '_PARTITIONTIME' как тип TIMESTAMP, либо '_PARTITIONDATE' как тип DATE. Если поле указано, таблица вместо этого разделяется по этому полю. Поле должно быть верхнеуровневым полем TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED. | ||||
| Тип строка | успех | Поддерживается только тип DAY, который будет генерировать один раздел на день. | ||||
| Тип строка | успех | Описание типа таблицы. | ||||
| Вид сложная | успех | Определение представления. | ||||
| Использовать устаревший SQL логическое значение | успех | Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. | ||||
| userDefinedFunctionResources complex | success | Описывает ресурсы пользовательских функций, используемых в запросе. | ||||
| inlineCode string | success | Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление встроенного кода эквивалентно предоставлению URI для файла, содержащего тот же код. | ||||
| resourceUri string | success | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | ||||
Статус
- Этот модуль не гарантирует обратную совместимость. [превью]
- Этот модуль поддерживается сообществом Ansible. [сообщество]
Авторы
- Google Inc. (@googlecloudplatform)
Подсказка
Если вы заметите какие-либо проблемы в этой документации, вы можете отредактировать этот документ, чтобы улучшить его.
© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.9/modules/gcp_bigquery_table_module.html
