google.cloud.gcp_bigquery_table – Создаёт таблицу GCP
Примечание
Этот плагин входит в коллекцию google.cloud (версия 1.0.2).
Для его установки используйте: ansible-galaxy collection install google.cloud.
Для использования в плейбуке укажите: google.cloud.gcp_bigquery_table.
Обзор
- Таблица, принадлежащая набору данных.
Требования
Ниже перечислены требования, необходимые на хосте, выполняющем этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
| Параметр | Варианты/Значения по умолчанию | Комментарии | ||||
|---|---|---|---|---|---|---|
| auth_kind строка / обязательно |
| Тип используемых учетных данных. | ||||
| clustering список / элементы=строка | Один или несколько полей, по которым следует выполнить кластеризацию данных. Поддерживаются только поля верхнего уровня, не повторяющиеся и простого типа. При кластеризации таблицы по нескольким столбцам порядок столбцов важен. Порядок указанных столбцов определяет порядок сортировки данных. | |||||
| dataset строка | Имя набора данных. | |||||
| description строка | Понятное описание набора данных. | |||||
| encryption_configuration словарь | Настройка шифрования по умолчанию. | |||||
| kms_key_name строка | Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Сервисный аккаунт BigQuery, связанный с вашим проектом, должен иметь доступ к этому ключу шифрования. | |||||
| env_type строка | Указывает, в какой среде Ansible выполняется этот модуль. Не устанавливайте это значение, если вы не знаете, что делаете. Это изменяет только строку User Agent для любых запросов к API. | |||||
| expiration_time целое число | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если не указано, таблица будет существовать неопределенно. | |||||
| external_data_configuration словарь | Описывает формат данных, расположение и другие свойства таблицы, хранящейся вне BigQuery. Задав эти свойства, источник данных можно запросить так, как если бы это была стандартная таблица BigQuery. | |||||
| autodetect логическое значение |
| Попытаться автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтен. | ||||
| bigtable_options словарь | Дополнительные параметры, если sourceFormat установлен на BIGTABLE. | |||||
| column_families список / элементы=словарь | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | |||||
| columns список / элементы=словарь | Список столбцов, которые должны быть отображены как отдельные поля, а не как список пар (имя столбца, значение). | |||||
| encoding строка | Кодировка значений, когда тип не STRING. Некоторые допустимые значения: «TEXT», «BINARY» | |||||
| field_name строка | Если квалификатор не является допустимым идентификатором поля BigQuery, должен быть предоставлен допустимый идентификатор в качестве имени поля столбца, используемый в качестве имени поля в запросах. | |||||
| only_read_latest логическое значение |
| Если задано, отображается только последняя версия значения в этом столбце. | ||||
| qualifier_string строка / обязательно | Квалификатор столбца. | |||||
| type строка | Тип преобразования значения в ячейках этого столбца. Некоторые допустимые значения: «BYTES», «STRING», «INTEGER», «FLOAT», «BOOLEAN» | |||||
| encoding строка | Кодировка значений, когда тип не STRING. Некоторые допустимые значения: «TEXT», «BINARY» | |||||
| family_id строка | Идентификатор семейства столбцов. | |||||
| only_read_latest логическое значение |
| Если установлено, отображаются только последние версии значений для всех столбцов в этом семействе столбцов. | ||||
| type строка | Тип преобразования значения в ячейках этого семейства столбцов. Некоторые допустимые значения: «BYTES», «STRING», «INTEGER», «FLOAT», «BOOLEAN» | |||||
| ignore_unspecified_column_families логическое значение |
| Если поле установлено в true, то семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| read_rowkey_as_string логическое значение |
| Если поле установлено в true, то семейства столбцов rowkey будут читаться и преобразовываться в строки. | ||||
| compression строка | Тип сжатия источника данных. Некоторые допустимые значения: «GZIP», «NONE» | |||||
| csv_options словарь | Дополнительные свойства для установки, если sourceFormat установлен на CSV. | |||||
| allow_jagged_rows логическое значение |
| Указывает, должен ли BigQuery принимать строки, которым не хватает конечных необязательных столбцов. | ||||
| allow_quoted_newlines логическое значение |
| Указывает, должен ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки в CSV-файле. | ||||
| encoding строка | Кодировка символов данных. Некоторые допустимые значения: «UTF-8», «ISO-8859-1» | |||||
| field_delimiter строка | Разделитель полей в CSV-файле. | |||||
| quote строка | Значение, используемое для цитирования разделов данных в CSV-файле. | |||||
| skip_leading_rows целое число | Количество строк в начале CSV-файла, которые BigQuery пропустит при чтении данных. | |||||
| google_sheets_options словарь | Дополнительные параметры, если sourceFormat установлен на GOOGLE_SHEETS. | |||||
| skip_leading_rows целое число | Количество строк в начале Google Таблицы, которые BigQuery пропустит при чтении данных. | |||||
| ignore_unknown_values логическое значение |
| Указывает, должен ли BigQuery разрешать дополнительные значения, которые не представлены в схеме таблицы. | ||||
| max_bad_records целое число | Максимальное количество плохих записей, которые BigQuery может пропустить при чтении данных. | |||||
| schema словарь | Схема данных. Схема требуется для форматов CSV и JSON. | |||||
| fields список / элементы=словарь | Описание полей в таблице. | |||||
| description строка | Описание поля. | |||||
| Поля список / элементы=строка | Описывает поля вложенной схемы, если свойство type установлено в RECORD. | |||||
| Режим строка | Режим поля. Некоторые допустимые значения: «NULLABLE», «REQUIRED», «REPEATED» | |||||
| Имя строка | Имя поля. | |||||
| Тип строка | Тип данных поля. Некоторые допустимые значения: «STRING», «BYTES», «INTEGER», «FLOAT», «TIMESTAMP», «DATE», «TIME», «DATETIME», «RECORD» | |||||
| Формат_источника строка | Формат данных. Некоторые допустимые значения: «CSV», «GOOGLE_SHEETS», «NEWLINE_DELIMITED_JSON», «AVRO», «DATASTORE_BACKUP», «BIGTABLE», «ORC» | |||||
| URI_источника список / элементы=строка | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ «*» (подстановка) и он должен идти после имени «bucket». Ограничения по размеру, связанные с задачами загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: может быть указан ровно один URI, который должен быть полным, корректным HTTPS-адресом таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore может быть указан ровно один URI. Также символ «*» (подстановка) не допускается. | |||||
| Дружественное_имя строка | Дескриптивное имя для этой таблицы. | |||||
| Метки словарь | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки наборов данных. | |||||
| Имя строка | Имя таблицы. | |||||
| Количество_строк целое | Количество строк данных в этой таблице, исключая данные в буфере потоковой передачи. | |||||
| Проект строка | Проект Google Cloud Platform для использования. | |||||
| Схема словарь | Описывает схему этой таблицы. | |||||
| Поля список / элементы=словарь | Описывает поля в таблице. | |||||
| Описание строка | Описание поля. Максимальная длина 1024 символа. | |||||
| Поля список / элементы=строка | Описывает поля вложенной схемы, если свойство type установлено в RECORD. | |||||
| Режим строка | Режим поля. Некоторые допустимые значения: «NULLABLE», «REQUIRED», «REPEATED» | |||||
| Имя строка | Имя поля. | |||||
| Тип строка | Тип данных поля. Некоторые допустимые значения: «STRING», «BYTES», «INTEGER», «FLOAT», «TIMESTAMP», «DATE», «TIME», «DATETIME», «RECORD» | |||||
| Области список / элементы=строка | Массив областей для использования | |||||
| Содержимое_учетной_записи_службы jsonarg | Содержимое файла JSON учетной записи службы, либо в виде словаря, либо в виде JSON-строки, его представляющей. | |||||
| Адрес_электронной_почты_учетной_записи_службы строка | Дополнительный адрес электронной почты учетной записи службы, если выбран machineaccount, и пользователь не хочет использовать адрес по умолчанию. | |||||
| Файл_учетной_записи_службы путь | Путь к файлу JSON учетной записи службы, если serviceaccount выбран в качестве типа. | |||||
| Состояние строка |
| Существует ли данный объект в GCP | ||||
| Ссылка_на_таблицу словарь | Ссылка, описывающая идентификатор этой таблицы. | |||||
| Идентификатор_набора_данных строка | Идентификатор набора данных, содержащего эту таблицу. | |||||
| Идентификатор_проекта строка | Идентификатор проекта, содержащего эту таблицу. | |||||
| Идентификатор_таблицы строка | Идентификатор таблицы. | |||||
| Разбиение_по_времени словарь | При указании настраивает разбиение таблицы по времени. | |||||
| Срок_истечения_в_мс целое | Количество миллисекунд, в течение которых хранить данные для раздела. | |||||
| Поле строка | Если не установлено, таблица разделена по псевдостолбцу, указанному как '_PARTITIONTIME' типа TIMESTAMP или '_PARTITIONDATE' типа DATE. Если поле указано, таблица разделена по этому полю. Поле должно быть типом TIMESTAMP или DATE верхнего уровня. Его режим должен быть NULLABLE или REQUIRED. | |||||
| Тип строка | Поддерживается только тип DAY, который создает один раздел на день. Некоторые допустимые значения: «DAY» | |||||
| Представление словарь | Определение представления. | |||||
| Использовать_старый_SQL булево |
| Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. | ||||
| Ресурсы_пользовательских_функций список / элементы=словарь | Описывает ресурсы пользовательских функций, используемые в запросе. | |||||
| Встроенный_код строка | Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление встроенного кода эквивалентно предоставлению URI для файла, содержащего тот же код. | |||||
| URI_ресурса строка | Ресурс кода для загрузки по URI Google Cloud Storage (gs://bucket/path). | |||||
Примеры
- name: create a dataset
google.cloud.gcp_bigquery_dataset:
name: example_dataset
dataset_reference:
dataset_id: example_dataset
project: "{{ gcp_project }}"
auth_kind: "{{ gcp_cred_kind }}"
service_account_file: "{{ gcp_cred_file }}"
state: present
register: dataset
- name: create a table
google.cloud.gcp_bigquery_table:
name: example_table
dataset: example_dataset
table_reference:
dataset_id: example_dataset
project_id: test_project
table_id: example_table
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: present
Значения_возврата
Общие значения возврата описаны здесь, следующие поля уникальны для этого модуля:
| Ключ | Возвращаемое значение | Описание | ||||
|---|---|---|---|---|---|---|
| clustering список / элементы=строка | успех | Один или несколько полей, по которым должны быть сгруппированы данные. Поддерживаются только поля верхнего уровня, не повторяющиеся, простого типа. При группировке таблицы по нескольким столбцам порядок указанных столбцов имеет значение. Порядок указанных столбцов определяет порядок сортировки данных. | ||||
| creationTime целое число | успех | Время создания этого набора данных в миллисекундах с момента эпохи. | ||||
| dataset строка | успех | Имя набора данных. | ||||
| description строка | успех | Пользовательское описание набора данных. | ||||
| encryptionConfiguration сложный | успех | Настройка шифрования. | ||||
| kmsKeyName строка | успех | Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учётная запись службы BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. | ||||
| expirationTime целое число | успех | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если не указано, таблица будет существовать неограниченно. | ||||
| externalDataConfiguration сложный | успех | Описание формата данных, расположения и других свойств таблицы, хранящейся вне BigQuery. Определяя эти свойства, источник данных можно запросить как стандартную таблицу BigQuery. | ||||
| autodetect логическое значение | успех | Попытка автоматически определить схему и параметры формата. Любой явно указанный параметр будет учтён. | ||||
| bigtableOptions сложный | успех | Дополнительные параметры, если sourceFormat установлен в BIGTABLE. | ||||
| columnFamilies сложный | успех | Список семейств столбцов, которые следует отобразить в схеме таблицы вместе с их типами. | ||||
| columns сложный | успех | Список столбцов, которые следует отобразить как отдельные поля, а не как пары (имя столбца, значение). | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| fieldName строка | успех | Если квалификатор не является допустимым идентификатором поля BigQuery, должен быть предоставлен допустимый идентификатор в качестве имени поля столбца, используемого в качестве имени поля в запросах. | ||||
| onlyReadLatest логическое значение | успех | Если задано, отображается только последняя версия значения в этом столбце. | ||||
| qualifierString строка | успех | Квалификатор столбца. | ||||
| type строка | успех | Тип для преобразования значения в ячейках этого столбца. | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| familyId строка | успех | Идентификатор семейства столбцов. | ||||
| onlyReadLatest логическое значение | успех | Если установлено, отображается только последняя версия значения для всех столбцов в этом семействе столбцов. | ||||
| type строка | успех | Тип для преобразования значений в ячейках этого семейства столбцов. | ||||
| ignoreUnspecifiedColumnFamilies логическое значение | успех | Если поле равно true, то семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| readRowkeyAsString логическое значение | успех | Если поле равно true, то семейства столбцов rowkey будут считываться и преобразовываться в строку. | ||||
| compression строка | успех | Тип сжатия источника данных. | ||||
| csvOptions сложный | успех | Дополнительные свойства для установки, если sourceFormat установлен в CSV. | ||||
| allowJaggedRows логическое значение | успех | Указывает, должна ли BigQuery принимать строки, в которых отсутствуют конечные необязательные столбцы. | ||||
| allowQuotedNewlines логическое значение | успех | Указывает, должна ли BigQuery допускать цитируемые разделы данных, содержащие символы новой строки в файле CSV. | ||||
| encoding строка | успех | Кодировка символов данных. | ||||
| fieldDelimiter строка | успех | Разделитель полей в файле CSV. | ||||
| quote строка | успех | Значение, используемое для цитирования разделов данных в файле CSV. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале файла CSV, которые BigQuery пропустит при чтении данных. | ||||
| googleSheetsOptions сложный | успех | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале Google Таблицы, которые BigQuery пропустит при чтении данных. | ||||
| ignoreUnknownValues логическое значение | успех | Указывает, должна ли BigQuery допускать дополнительные значения, которые не представлены в схеме таблицы. | ||||
| maxBadRecords целое число | успех | Максимальное количество плохих записей, которые BigQuery может пропустить при чтении данных. | ||||
| schema сложный | успех | Схема данных. Схема требуется для форматов CSV и JSON. | ||||
| fields сложный | успех | Описание полей в таблице. | ||||
| description строка | успех | Описание поля. | ||||
| fields список / элементы=строка | успех | Описание вложенных полей схемы, если свойство type установлено в RECORD. | ||||
| mode строка | успех | Режим поля. | ||||
| name строка | успех | Имя поля. | ||||
| тип строка | успех | Тип данных поля. | ||||
| форматИсточника строка | успех | Формат данных. | ||||
| sourceUris список / элементы=строка | успех | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ «*» (подстановочный знак), и он должен идти после имени «бакета». Ограничения по размеру, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: можно указать ровно один URI, который должен быть полностью указанным и корректным HTTPS-адресом таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Также не допускается использование символа «*» (подстановочного знака). | ||||
| friendlyName строка | успех | Дескриптивное имя для этой таблицы. | ||||
| id строка | успех | Непрозрачный идентификатор, уникально определяющий таблицу. | ||||
| метки словарь | успех | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группирования наборов данных. | ||||
| lastModifiedTime целое число | успех | Время последнего изменения этой таблицы в миллисекундах с эпохи. | ||||
| местоположение строка | успех | Географическое местоположение таблицы. Это значение наследуется от набора данных. | ||||
| имя строка | успех | Имя таблицы. | ||||
| numBytes целое число | успех | Размер этой таблицы в байтах, без учета данных в буфере потоковой передачи. | ||||
| numLongTermBytes целое число | успех | Количество байтов в таблице, которые считаются "долговременным хранилищем". | ||||
| numRows целое число | успех | Количество строк данных в этой таблице, без учета данных в буфере потоковой передачи. | ||||
| requirePartitionFilter логическое значение | успех | Если установлено в значение true, запросы к этой таблице требуют фильтра разделов, который может использоваться для исключения разделов. | ||||
| схема сложный | успех | Описание схемы этой таблицы. | ||||
| поля сложный | успех | Описание полей в таблице. | ||||
| описание строка | успех | Описание поля. Максимальная длина — 1024 символа. | ||||
| поля список / элементы=строка | успех | Описание вложенных полей схемы, если свойство типа установлено в RECORD. | ||||
| режим строка | успех | Режим поля. | ||||
| имя строка | успех | Имя поля. | ||||
| тип строка | успех | Тип данных поля. | ||||
| streamingBuffer сложный | успех | Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле отсутствует, если таблица не передаётся в режиме потоковой передачи или если в буфере потоковой передачи нет данных. | ||||
| estimatedBytes целое число | успех | Нижняя граница оценки количества байтов, в настоящее время находящихся в буфере потоковой передачи. | ||||
| estimatedRows целое число | успех | Нижняя граница оценки количества строк, в настоящее время находящихся в буфере потоковой передачи. | ||||
| oldestEntryTime целое число | успех | Содержит метку времени самой старой записи в буфере потоковой передачи в миллисекундах с эпохи, если буфер потоковой передачи доступен. | ||||
| tableReference сложный | успех | Ссылка, описывающая идентификатор этой таблицы. | ||||
| datasetId строка | успех | Идентификатор набора данных, содержащего эту таблицу. | ||||
| projectId строка | успех | Идентификатор проекта, содержащего эту таблицу. | ||||
| tableId строка | успех | Идентификатор таблицы. | ||||
| timePartitioning сложный | успех | При указании настраивает временное разделение для этой таблицы. | ||||
| expirationMs целое число | успех | Количество миллисекунд, в течение которых хранится хранилище для раздела. | ||||
| field строка | успех | Если не задано, таблица разделяется по псевдостолбцу, на который ссылаются либо «_PARTITIONTIME» как тип TIMESTAMP, либо «_PARTITIONDATE» как тип DATE. Если поле задано, таблица вместо этого разделяется по этому полю. Поле должно быть верхнеуровневым полем TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED. | ||||
| type строка | успех | Поддерживается только тип DAY, который создаст один раздел на день. | ||||
| type строка | успех | Описание типа таблицы. | ||||
| view сложный | успех | Определение представления. | ||||
| useLegacySql логическое значение | успех | Указывает, использовать ли для этого представления устаревшую систему SQL BigQuery. | ||||
| userDefinedFunctionResources сложный | успех | Описание ресурсов пользовательских функций, используемых в запросе. | ||||
| inlineCode строка | успех | Встроенный ресурс, содержащий код пользовательской функции (UDF). Предоставление inline-кода эквивалентно предоставлению URI файла, содержащего тот же код. | ||||
| resourceUri строка | успех | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | ||||
Авторы
- Google Inc. (@googlecloudplatform)
© 2012–2018 Michael DeHaan
© 2018–2021 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.11/collections/google/cloud/gcp_bigquery_table_module.html
