gcp_bigquery_table – Создаёт таблицу GCP
Новая в версии 2.8.
Описание
- Таблица, которая принадлежит набору данных.
Требования
Ниже перечислены требования, необходимые на хосте, который выполняет этот модуль.
- python >= 2.6
- requests >= 2.18.4
- google-auth >= 1.3.0
Параметры
| Параметр | Варианты/Значения по умолчанию | Комментарии | ||||
|---|---|---|---|---|---|---|
| auth_kind строка / обязательно |
| Тип используемых учетных данных. | ||||
| dataset - | Имя набора данных. | |||||
| description - | Пользовательское описание набора данных. | |||||
| encryption_configuration - | Настройка пользовательского шифрования. | |||||
| kms_key_name - | Описание ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервиса BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. | |||||
| expiration_time - | Время истечения срока действия таблицы в миллисекундах с момента эпохи. Если не указано, таблица будет существовать неограниченно. | |||||
| external_data_configuration - | Описание формата данных, расположения и других свойств таблицы, хранящейся вне BigQuery. Определяя эти свойства, источник данных можно запросить, как если бы это была стандартная таблица BigQuery. | |||||
| autodetect логическое |
| Попытка автоматического определения схемы и формата. Любой явно указанный параметр будет учтен. | ||||
| bigtable_options - | Дополнительные параметры, если sourceFormat установлен в BIGTABLE. | |||||
| column_families - | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | |||||
| columns - | Список столбцов, которые должны быть отображены как отдельные поля, а не как пары (имя столбца, значение). | |||||
| encoding - |
| Кодировка значений, когда тип не STRING. | ||||
| field_name - | Если квалификатор не является допустимым идентификатором поля BigQuery, должен быть предоставлен допустимый идентификатор в качестве имени поля столбца, используемый в качестве имени поля в запросах. | |||||
| only_read_latest логическое |
| Если установлено, отображается только последняя версия значения в этом столбце. | ||||
| qualifier_string - / обязательно | Квалификатор столбца. | |||||
| type - |
| Тип для преобразования значения в ячейках этого столбца. | ||||
| encoding - |
| Кодировка значений, когда тип не STRING. | ||||
| family_id - | Идентификатор семейства столбцов. | |||||
| only_read_latest логическое |
| Если установлено, отображаются только последние версии значений для всех столбцов в этом семействе столбцов. | ||||
| type - |
| Тип для преобразования значений в ячейках этого семейства столбцов. | ||||
| ignore_unspecified_column_families логическое |
| Если поле истинно, семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| read_rowkey_as_string логическое |
| Если поле истинно, семейства столбцов rowkey будут считаны и преобразованы в строки. | ||||
| compression - |
| Тип сжатия источника данных. | ||||
| csv_options - | Дополнительные свойства для установки, если sourceFormat установлен в CSV. | |||||
| allow_jagged_rows логическое |
| Указывает, должен ли BigQuery принимать строки, в которых отсутствуют хвостовые необязательные столбцы. | ||||
| allow_quoted_newlines логическое |
| Указывает, должен ли BigQuery разрешать цитируемые разделы данных, содержащие символы новой строки в файле CSV. | ||||
| encoding - |
| Кодировка символов данных. | ||||
| field_delimiter - | Разделитель полей в файле CSV. | |||||
| quote - | Значение, используемое для цитирования разделов данных в файле CSV. | |||||
| skip_leading_rows - | По умолчанию: "0" | Количество строк вверху файла CSV, которые BigQuery пропустит при чтении данных. | ||||
| google_sheets_options - | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | |||||
| skip_leading_rows - | По умолчанию: "0" | Количество строк вверху Google Таблицы, которые BigQuery пропустит при чтении данных. | ||||
| ignore_unknown_values boolean |
| Указывает, должно ли BigQuery допускать дополнительные значения, которые не представлены в схеме таблицы. | ||||
| max_bad_records - | По умолчанию: "0" | Максимальное количество плохих записей, которые BigQuery может игнорировать при чтении данных. | ||||
| schema - | Схема данных. Схема необходима для форматов CSV и JSON. | |||||
| fields - | Описание полей в таблице. | |||||
| description - | Описание поля. | |||||
| fields - | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| mode - |
| Режим поля. | ||||
| name - | Имя поля. | |||||
| type - |
| Тип данных поля. | ||||
| source_format - |
| Формат данных. | ||||
| source_uris - | Полные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ «*» (подстановка) и он должен стоять после имени «bucket». Пределы размеров, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: можно указать ровно один URI, и он должен быть полностью указанным и действительным HTTPS-адресом для таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Также символ «*» (подстановка) недопустим. | |||||
| friendly_name - | Дескриптивное имя этой таблицы. | |||||
| labels - | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки наборов данных. | |||||
| name - | Имя таблицы. | |||||
| project string | Проект Google Cloud Platform, который нужно использовать. | |||||
| schema - | Описание схемы этой таблицы. | |||||
| fields - | Описание полей в таблице. | |||||
| description - | Описание поля. Максимальная длина — 1024 символа. | |||||
| fields - | Описание вложенных полей схемы, если свойство type установлено в RECORD. | |||||
| mode - |
| Режим поля. | ||||
| name - | Имя поля. | |||||
| type - |
| Тип данных поля. | ||||
| scopes list | Массив используемых областей. | |||||
| service_account_contents string | Строка, представляющая содержимое JSON-файла учетной записи сервиса. Это не должно передаваться как словарь, а строка, содержащая точное содержимое файла json учетной записи сервиса (действительный JSON). | |||||
| service_account_email string | Необязательный адрес электронной почты учетной записи сервиса, если выбран machineaccount, и пользователь не хочет использовать адрес по умолчанию. | |||||
| service_account_file path | Путь к файлу JSON-учетной записи сервиса, если тип serviceaccount выбран в качестве типа. | |||||
| state - |
| Существует ли данный объект в GCP | ||||
| table_reference - | Ссылка, описывающая идентификатор этой таблицы. | |||||
| dataset_id - | Идентификатор набора данных, содержащего эту таблицу. | |||||
| project_id - | Идентификатор проекта, содержащего эту таблицу. | |||||
| table_id - | Идентификатор таблицы. | |||||
| time_partitioning - | При указании настраивает разбиение по времени для этой таблицы. | |||||
| expiration_ms - | Количество миллисекунд, в течение которого хранится хранилище для раздела. | |||||
| type - |
| Поддерживается только тип DAY, который создаст один раздел на каждый день. | ||||
| view - | Определение представления. | |||||
| use_legacy_sql boolean |
| Указывает, следует ли использовать устаревший SQL BigQuery для этого представления. | ||||
| user_defined_function_resources - | Описание ресурсов пользовательских функций, используемых в запросе. | |||||
| inline_code - | Встроенный ресурс, содержащий код пользовательской функции (UDF). Предоставление ресурса inline code эквивалентно предоставлению URI для файла, содержащего тот же код. | |||||
| resource_uri - | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | |||||
Примечания
Примечание
- Для аутентификации можно задать service_account_file с помощью переменной среды
GCP_SERVICE_ACCOUNT_FILE. - Для аутентификации можно задать service_account_email с помощью переменной среды
GCP_SERVICE_ACCOUNT_EMAIL. - Для аутентификации можно задать service_account_contents с помощью переменной среды
GCP_SERVICE_ACCOUNT_CONTENTS. - Для аутентификации можно задать auth_kind с помощью переменной среды
GCP_AUTH_KIND. - Для аутентификации можно задать scopes с помощью переменной среды
GCP_SCOPES. - Значения переменных окружения будут использованы только в том случае, если значения в плейбуке не заданы.
- Параметры service_account_email и service_account_file взаимоисключающие.
Примеры
- name: create a dataset
gcp_bigquery_dataset:
name: example_dataset
dataset_reference:
dataset_id: example_dataset
project: "{{ gcp_project }}"
auth_kind: "{{ gcp_cred_kind }}"
service_account_file: "{{ gcp_cred_file }}"
state: present
register: dataset
- name: create a table
gcp_bigquery_table:
name: example_table
dataset: example_dataset
table_reference:
dataset_id: example_dataset
project_id: test_project
table_id: example_table
project: test_project
auth_kind: serviceaccount
service_account_file: "/tmp/auth.pem"
state: present
Значения возврата
Общие значения возврата описаны здесь, ниже приведены поля, уникальные для данного модуля:
| Ключ | Возвращаемое значение | Описание | ||||
|---|---|---|---|---|---|---|
| creationTime целое число | успех | Время создания этого набора данных в миллисекундах с момента эпохи. | ||||
| dataset строка | успех | Имя набора данных. | ||||
| description строка | успех | Понятное описание набора данных. | ||||
| encryptionConfiguration сложное | успех | Настройка пользовательского шифрования. | ||||
| kmsKeyName строка | успех | Описывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Учетная запись сервиса BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования. | ||||
| expirationTime целое число | успех | Время истечения срока действия этой таблицы в миллисекундах с момента эпохи. Если значение не указано, таблица будет существовать неограниченно. | ||||
| externalDataConfiguration сложное | успех | Описывает формат данных, расположение и другие свойства таблицы, хранящейся вне BigQuery. Определив эти свойства, источник данных можно запросить так, как будто это стандартная таблица BigQuery. | ||||
| autodetect логическое | успех | Попытка автоматически определить схему и параметры формата. Любые явно указанные параметры будут учтены. | ||||
| bigtableOptions сложное | успех | Дополнительные параметры, если sourceFormat установлен в BIGTABLE. | ||||
| columnFamilies сложное | успех | Список семейств столбцов для отображения в схеме таблицы вместе с их типами. | ||||
| columns сложное | успех | Список столбцов, которые должны отображаться как отдельные поля, а не как список пар (имя столбца, значение). | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| fieldName строка | успех | Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца, который используется в качестве имени поля в запросах. | ||||
| onlyReadLatest логическое | успех | Если это установлено, отображается только последняя версия значения в этом столбце. | ||||
| qualifierString строка | успех | Квалификатор столбца. | ||||
| type строка | успех | Тип преобразования значения в ячейках этого столбца. | ||||
| encoding строка | успех | Кодировка значений, когда тип не STRING. | ||||
| familyId строка | успех | Идентификатор семейства столбцов. | ||||
| onlyReadLatest логическое | успех | Если это установлено, для всех столбцов в этом семействе столбцов отображается только последняя версия значения. | ||||
| type строка | успех | Тип преобразования значения в ячейках этого семейства столбцов. | ||||
| ignoreUnspecifiedColumnFamilies логическое | успех | Если поле равно true, то семейства столбцов, не указанные в списке columnFamilies, не отображаются в схеме таблицы. | ||||
| readRowkeyAsString логическое | успех | Если поле равно true, то семейства столбцов rowkey будут считаны и преобразованы в строки. | ||||
| compression строка | успех | Тип сжатия источника данных. | ||||
| csvOptions сложное | успех | Дополнительные свойства, если sourceFormat установлен в CSV. | ||||
| allowJaggedRows логическое | успех | Указывает, должен ли BigQuery принимать строки, в которых отсутствуют конечные необязательные столбцы. | ||||
| allowQuotedNewlines логическое | успех | Указывает, должен ли BigQuery допускать цитируемые разделы данных, содержащие символы новой строки в файле CSV. | ||||
| encoding строка | успех | Кодировка символов данных. | ||||
| fieldDelimiter строка | успех | Разделитель полей в файле CSV. | ||||
| quote строка | успех | Значение, используемое для цитирования разделов данных в файле CSV. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале файла CSV, которые BigQuery пропустит при чтении данных. | ||||
| googleSheetsOptions сложное | успех | Дополнительные параметры, если sourceFormat установлен в GOOGLE_SHEETS. | ||||
| skipLeadingRows целое число | успех | Количество строк в начале Google Таблицы, которые BigQuery пропустит при чтении данных. | ||||
| ignoreUnknownValues логическое | успех | Указывает, должен ли BigQuery допускать дополнительные значения, которые не представлены в схеме таблицы. | ||||
| maxBadRecords целое число | успех | Максимальное количество плохих записей, которые BigQuery может проигнорировать при чтении данных. | ||||
| schema сложное | успех | Схема данных. Схема требуется для форматов CSV и JSON. | ||||
| fields сложное | успех | Описание полей в таблице. | ||||
| description строка | успех | Описание поля. | ||||
| fields список | успех | Описание вложенных полей схемы, если свойство type установлено в RECORD. | ||||
| mode строка | успех | Режим поля. | ||||
| имя строка | успех | Имя поля. | ||||
| тип строка | успех | Тип данных поля. | ||||
| форматИсточника строка | успех | Формат данных. | ||||
| sourceUris список | успех | Полностью квалифицированные URI, указывающие на ваши данные в Google Cloud. Для URI Google Cloud Storage: каждый URI может содержать один символ подстановки '*' и должен следовать за именем «бакета». Ограничения по размеру, связанные с заданиями загрузки, применяются к внешним источникам данных. Для URI Google Cloud Bigtable: должен быть указан ровно один URI, являющийся полностью определённой и валидной HTTPS-ссылкой на таблицу Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, символ подстановки '*' запрещён. | ||||
| дружественноеИмя строка | успех | Дескриптивное имя этой таблицы. | ||||
| id строка | успех | Непрозрачный идентификатор, уникально определяющий таблицу. | ||||
| метки словарь | успех | Метки, связанные с этим набором данных. Вы можете использовать их для организации и группировки наборов данных. | ||||
| lastModifiedTime целое число | успех | Время последнего изменения этой таблицы в миллисекундах с момента эпохи. | ||||
| местоположение строка | успех | Географическое местоположение, где расположена таблица. Это значение наследуется от набора данных. | ||||
| имя строка | успех | Имя таблицы. | ||||
| numBytes целое число | успех | Размер этой таблицы в байтах, за исключением данных в буфере потоковой передачи. | ||||
| numLongTermBytes целое число | успех | Количество байтов в таблице, рассматриваемое как «хранилище долгосрочного хранения». | ||||
| numRows целое число | успех | Количество строк данных в этой таблице, за исключением данных в буфере потоковой передачи. | ||||
| схема сложное | успех | Описание схемы этой таблицы. | ||||
| поля сложное | успех | Описание полей в таблице. | ||||
| описание строка | успех | Описание поля. Максимальная длина — 1024 символа. | ||||
| поля список | успех | Описание вложенных полей схемы, если свойство типа установлено в RECORD. | ||||
| режим строка | успех | Режим поля. | ||||
| имя строка | успех | Имя поля. | ||||
| тип строка | успех | Тип данных поля. | ||||
| streamingBuffer сложное | успех | Содержит информацию о буфере потоковой передачи этой таблицы, если он присутствует. Это поле будет отсутствовать, если таблица не передаётся по потоку или если в буфере потоковой передачи нет данных. | ||||
| estimatedBytes целое число | успех | Нижняя граница оценки количества байтов, в настоящее время находящихся в буфере потоковой передачи. | ||||
| estimatedRows целое число | успех | Нижняя граница оценки количества строк, в настоящее время находящихся в буфере потоковой передачи. | ||||
| oldestEntryTime целое число | успех | Содержит метку времени самой старой записи в буфере потоковой передачи в миллисекундах с момента эпохи, если буфер потоковой передачи доступен. | ||||
| tableReference сложное | успех | Ссылка, описывающая идентификатор этой таблицы. | ||||
| datasetId строка | успех | Идентификатор набора данных, содержащего эту таблицу. | ||||
| projectId строка | успех | Идентификатор проекта, содержащего эту таблицу. | ||||
| tableId строка | успех | Идентификатор таблицы. | ||||
| timePartitioning сложное | успех | Если указано, настраивает разбиение по времени для этой таблицы. | ||||
| expirationMs целое число | успех | Количество миллисекунд, в течение которых необходимо хранить хранилище для раздела. | ||||
| тип строка | успех | Поддерживается только тип DAY, который сгенерирует один раздел в день. | ||||
| тип строка | успех | Описывает тип таблицы. | ||||
| вид сложное | успех | Определение вида. | ||||
| использоватьLegacySql логическое значение | успех | Указывает, использовать ли для этого представления устаревший SQL BigQuery. | ||||
| userDefinedFunctionResources сложное | успех | Описывает ресурсы пользовательских функций, используемые в запросе. | ||||
| inlineCode строка | успех | Встроенный ресурс, содержащий код для пользовательской функции (UDF). Предоставление ресурса inlineCode эквивалентно предоставлению URI для файла, содержащего тот же код. | ||||
| resourceUri строка | успех | Ресурс кода для загрузки из URI Google Cloud Storage (gs://bucket/path). | ||||
Статус
- Этот модуль не гарантирует обратную совместимость интерфейса. [preview]
- Этот модуль поддерживается сообществом Ansible. [community]
Авторы
- Google Inc. (@googlecloudplatform)
Подсказка
Если вы заметите какие-либо проблемы в этой документации, вы можете редактировать этот документ, чтобы улучшить его.
© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.8/modules/gcp_bigquery_table_module.html
