Модуль google.cloud.gcp_bigquery_table — создание таблицы GCP

access_token

string

Токен доступа OAuth2, если тип учетных данных — accesstoken.

auth_kind

string / обязательно

Тип используемых учетных данных.

Варианты:

• "application"
• "machineaccount"
• "serviceaccount"
• "accesstoken"

clustering

list / elements=string

Одно или несколько полей, по которым следует кластеризовать данные. Поддерживаются только простые поля верхнего уровня, не являющиеся повторяющимися. При кластеризации таблицы по нескольким столбцам важен указанный вами порядок столбцов. Порядок заданных столбцов определяет порядок сортировки данных.

dataset

string

Имя набора данных.

description

string

Удобное для пользователя описание набора данных.

encryption_configuration

dictionary

Пользовательская конфигурация шифрования.

kms_key_name

string

Имя ключа шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Служебной учетной записи BigQuery, связанной с вашим проектом, необходим доступ к этому ключу шифрования.

env_type

string

Указывает, в какой среде Ansible выполняется этот модуль.

Не задавайте это значение, если не знаете, что делаете.

Этот параметр изменяет только строку User Agent для любых запросов API.

expiration_time

integer

Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если значение не указано, таблица будет храниться бессрочно.

external_data_configuration

dictionary

Описывает формат данных, расположение и другие свойства таблицы, хранящейся вне BigQuery. После определения этих свойств к источнику данных можно обращаться с запросами, как к стандартной таблице BigQuery.

autodetect

boolean

Попытаться автоматически определить схему и параметры формата. Все явно заданные параметры будут учтены.

Варианты:

• false
• true

bigtable_options

dictionary

Дополнительные параметры, если для sourceFormat задано значение BIGTABLE.

column_families

list / elements=dictionary

Список семейств столбцов, которые необходимо включить в схему таблицы, вместе с их типами.

columns

list / elements=dictionary

Списки столбцов, которые следует представить в виде отдельных полей, а не списка пар (имя столбца, значение).

encoding

string

Кодировка значений, если их тип не STRING.

Допустимые варианты включают: “TEXT”, “BINARY”

field_name

string

Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца; он будет использоваться как имя поля в запросах.

only_read_latest

boolean

Если этот параметр задан, предоставляется только последняя версия значения в этом столбце.

Варианты:

• false
• true

qualifier_string

string / обязательно

Квалификатор столбца.

type

string

Тип, в который преобразуется значение в ячейках этого столбца.

Допустимые варианты включают: “BYTES”, “STRING”, “INTEGER”, “FLOAT”, “BOOLEAN”

encoding

string

Кодировка значений, если их тип не STRING.

Допустимые варианты включают: “TEXT”, “BINARY”

family_id

string

Идентификатор семейства столбцов.

only_read_latest

boolean

Если этот параметр задан, для всех столбцов этого семейства предоставляется только последняя версия значения.

Варианты:

• false
• true

type

string

Тип, в который преобразуется значение в ячейках этого семейства столбцов.

Допустимые варианты включают: “BYTES”, “STRING”, “INTEGER”, “FLOAT”, “BOOLEAN”

ignore_unspecified_column_families

boolean

Если значение поля равно true, семейства столбцов, не указанные в списке columnFamilies, не включаются в схему таблицы.

Варианты:

• false
• true

read_rowkey_as_string

boolean

Если значение поля равно true, столбцы rowkey будут прочитаны и преобразованы в строки.

Варианты:

• false
• true

compression

string

Тип сжатия источника данных.

Допустимые варианты включают: “GZIP”, “NONE”

csv_options

dictionary

Дополнительные свойства, задаваемые, если для sourceFormat установлено значение CSV.

allow_jagged_rows

boolean

Указывает, должен ли BigQuery принимать строки, в которых отсутствуют завершающие необязательные столбцы.

Варианты:

• false
• true

allow_quoted_newlines

boolean

Указывает, должен ли BigQuery разрешать фрагменты данных в кавычках, содержащие символы новой строки в файле CSV.

Варианты:

• false
• true

encoding

string

Кодировка символов данных.

Допустимые варианты включают: “UTF-8”, “ISO-8859-1”

field_delimiter

string

Разделитель полей в файле CSV.

quote

string

Символ, используемый для заключения фрагментов данных в кавычки в файле CSV.

skip_leading_rows

integer

Количество строк в начале файла CSV, которые BigQuery пропустит при чтении данных.

По умолчанию: 0

google_sheets_options

dictionary

Дополнительные параметры, если для sourceFormat задано значение GOOGLE_SHEETS.

skip_leading_rows

integer

Количество строк в начале таблицы Google Sheets, которые BigQuery пропустит при чтении данных.

По умолчанию: 0

ignore_unknown_values

boolean

Указывает, должен ли BigQuery разрешать дополнительные значения, не представленные в схеме таблицы.

Варианты:

• false
• true

max_bad_records

integer

Максимальное количество ошибочных записей, которые BigQuery может игнорировать при чтении данных.

По умолчанию: 0

schema

dictionary

Схема данных. Для форматов CSV и JSON схема обязательна.

fields

list / elements=dictionary

Описывает поля таблицы.

description

string

Описание поля.

fields

list / elements=any

Описывает вложенные поля схемы, если для свойства type задано значение RECORD.

mode

string

Режим поля.

Допустимые варианты включают: “NULLABLE”, “REQUIRED”, “REPEATED”

name

string

Имя поля.

type

string

Тип данных поля.

Допустимые варианты включают: “STRING”, “BYTES”, “INTEGER”, “FLOAT”, “TIMESTAMP”, “DATE”, “TIME”, “DATETIME”, “RECORD”

source_format

string

Формат данных.

Допустимые варианты включают: “CSV”, “GOOGLE_SHEETS”, “NEWLINE_DELIMITED_JSON”, “AVRO”, “DATASTORE_BACKUP”, “BIGTABLE”, “ORC”

source_uris

list / elements=string

Полные URI, указывающие на ваши данные в Google Cloud.

Для URI Google Cloud Storage: каждый URI может содержать один подстановочный символ ‘*’, который должен находиться после имени ‘bucket’. К внешним источникам данных применяются ограничения на размер, связанные с заданиями загрузки. Для URI Google Cloud Bigtable: можно указать ровно один URI; это должен быть полностью заданный и допустимый HTTPS URL таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать ровно один URI. Кроме того, подстановочный символ ‘*’ не допускается.

friendly_name

string

Описательное имя этой таблицы.

labels

dictionary

Метки, связанные с этим набором данных. Их можно использовать для организации и группировки наборов данных.

name

string

Имя таблицы.

num_rows

integer

Количество строк данных в этой таблице, не включая данные в буфере потоковой передачи.

project

string

Проект Google Cloud Platform, который следует использовать.

schema

dictionary

Описывает схему этой таблицы.

fields

list / elements=dictionary

Описывает поля таблицы.

description

string

Описание поля. Максимальная длина — 1024 символа.

fields

list / elements=any

Описывает вложенные поля схемы, если для свойства type задано значение RECORD.

mode

string

Режим поля.

Допустимые варианты включают: “NULLABLE”, “REQUIRED”, “REPEATED”

name

string

Имя поля.

type

string

Тип данных поля.

Допустимые варианты включают: “STRING”, “BYTES”, “INTEGER”, “FLOAT”, “TIMESTAMP”, “DATE”, “TIME”, “DATETIME”, “RECORD”

scopes

list / elements=string

Массив используемых областей доступа

service_account_contents

jsonarg

Содержимое JSON-файла учётной записи службы в виде словаря или JSON-строки, представляющей его.

service_account_email

string

Необязательный адрес электронной почты учётной записи службы, если выбран machineaccount и пользователь не хочет использовать адрес по умолчанию.

service_account_file

path

Путь к JSON-файлу учётной записи службы, если в качестве типа выбрано serviceaccount.

state

string

Должен ли указанный объект существовать в GCP

Варианты:

• "present" ← (по умолчанию)
• "absent"

table_reference

dictionary

Ссылка, содержащая идентификатор этой таблицы.

dataset_id

string / обязательный

Идентификатор набора данных, содержащего эту таблицу.

project_id

string / обязательный

Идентификатор проекта, содержащего эту таблицу.

table_id

string / обязательный

Идентификатор таблицы.

time_partitioning

dictionary

Если указано, настраивает разбиение этой таблицы на разделы по времени.

expiration_ms

integer

Количество миллисекунд, в течение которых следует хранить данные раздела.

field

string

Если не указано, таблица разбивается на разделы по псевдостолбцу, обозначаемому ‘_PARTITIONTIME’ с типом TIMESTAMP или ‘_PARTITIONDATE’ с типом DATE. Если поле указано, таблица разбивается на разделы по этому полю. Поле должно быть полем верхнего уровня типа TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED.

type

string

Поддерживается только тип DAY, который создаёт один раздел на каждый день.

Допустимые варианты: «DAY»

view

dictionary

Определение представления.

use_legacy_sql

boolean

Указывает, следует ли использовать для этого представления устаревший SQL BigQuery.

Варианты:

• false
• true

user_defined_function_resources

list / элементы=dictionary

Описывает ресурсы пользовательских функций, используемые в запросе.

inline_code

string

Встроенный ресурс с кодом пользовательской функции (UDF). Указание ресурса со встроенным кодом эквивалентно указанию URI файла, содержащего тот же код.

resource_uri

string

Ресурс с кодом, загружаемый из URI Google Cloud Storage (gs://bucket/path).

clustering

list / elements=string

Одно или несколько полей, по которым следует кластеризовать данные. Поддерживаются только поля верхнего уровня простых типов, не являющиеся повторяющимися. При кластеризации таблицы по нескольким столбцам важен порядок их указания. Порядок указанных столбцов определяет порядок сортировки данных.

Возвращается: success

creationTime

integer

Время создания этого набора данных в миллисекундах с начала эпохи.

Возвращается: success

dataset

string

Имя набора данных.

Возвращается: success

description

string

Удобное для пользователя описание набора данных.

Возвращается: success

encryptionConfiguration

complex

Пользовательская конфигурация шифрования.

Возвращается: success

kmsKeyName

string

Указывает ключ шифрования Cloud KMS, который будет использоваться для защиты целевой таблицы BigQuery. Сервисная учетная запись BigQuery, связанная с вашим проектом, должна иметь доступ к этому ключу шифрования.

Возвращается: success

expirationTime

integer

Время истечения срока действия этой таблицы в миллисекундах с начала эпохи. Если значение не указано, таблица будет храниться бессрочно.

Возвращается: success

externalDataConfiguration

complex

Описывает формат данных, расположение и другие свойства таблицы, хранящейся вне BigQuery. После определения этих свойств источник данных можно запрашивать так, как если бы он был обычной таблицей BigQuery.

Возвращается: success

autodetect

boolean

Попытаться автоматически определить схему и параметры формата. Все параметры, указанные явно, будут применены.

Возвращается: success

bigtableOptions

complex

Дополнительные параметры, если для sourceFormat задано значение BIGTABLE.

Возвращается: success

columnFamilies

complex

Список семейств столбцов, которые следует представить в схеме таблицы вместе с их типами.

Возвращается: success

columns

complex

Списки столбцов, которые следует представить как отдельные поля, а не как список пар (имя столбца, значение).

Возвращается: success

encoding

string

Кодировка значений, если их тип не STRING.

Возвращается: success

fieldName

string

Если квалификатор не является допустимым идентификатором поля BigQuery, необходимо указать допустимый идентификатор в качестве имени поля столбца; он будет использоваться в запросах как имя поля.

Возвращается: success

onlyReadLatest

boolean

Если этот параметр задан, для этого столбца будет предоставляться только последняя версия значения.

Возвращается: success

qualifierString

string

Квалификатор столбца.

Возвращается: success

type

string

Тип, к которому следует преобразовать значение в ячейках этого столбца.

Возвращается: success

encoding

string

Кодировка значений, если их тип не STRING.

Возвращается: success

familyId

string

Идентификатор семейства столбцов.

Возвращается: success

onlyReadLatest

boolean

Если этот параметр задан, для всех столбцов этого семейства будут предоставляться только последние версии значений.

Возвращается: success

type

string

Тип, к которому следует преобразовать значения в ячейках этого семейства столбцов.

Возвращается: success

ignoreUnspecifiedColumnFamilies

boolean

Если значение поля равно true, семейства столбцов, не указанные в списке columnFamilies, не будут представлены в схеме таблицы.

Возвращается: success

readRowkeyAsString

boolean

Если значение поля равно true, ключ строки будет прочитан и преобразован в строку.

Возвращается: success

compression

string

Тип сжатия источника данных.

Возвращается: success

csvOptions

complex

Дополнительные свойства, задаваемые, если для sourceFormat указано значение CSV.

Возвращается: success

allowJaggedRows

boolean

Указывает, следует ли BigQuery принимать строки, в которых отсутствуют завершающие необязательные столбцы.

Возвращается: success

allowQuotedNewlines

boolean

Указывает, следует ли BigQuery разрешать заключенные в кавычки фрагменты данных, содержащие символы новой строки в CSV-файле.

Возвращается: success

encoding

string

Кодировка символов данных.

Возвращается: success

fieldDelimiter

string

Разделитель полей в CSV-файле.

Возвращается: success

quote

string

Символ, используемый для заключения фрагментов данных в кавычки в CSV-файле.

Возвращается: success

skipLeadingRows

integer

Количество строк в начале CSV-файла, которые BigQuery пропустит при чтении данных.

Возвращается: success

googleSheetsOptions

complex

Дополнительные параметры, если для sourceFormat задано значение GOOGLE_SHEETS.

Возвращается: success

skipLeadingRows

integer

Количество строк в начале Google Sheets, которые BigQuery пропустит при чтении данных.

Возвращается: success

ignoreUnknownValues

boolean

Указывает, следует ли BigQuery разрешать дополнительные значения, не представленные в схеме таблицы.

Возвращается: success

maxBadRecords

integer

Максимальное количество некорректных записей, которые BigQuery может игнорировать при чтении данных.

Возвращается: success

schema

complex

Схема данных. Для форматов CSV и JSON схема обязательна.

Возвращается: success

fields

complex

Описывает поля таблицы.

Возвращается: success

description

string

Описание поля.

Возвращается: success

fields

list / elements=string

Описывает вложенные поля схемы, если для свойства type задано значение RECORD.

Возвращается: success

mode

string

Режим поля.

Возвращается: success

name

string

Имя поля.

Возвращается: success

type

string

Тип данных поля.

Возвращается: success

sourceFormat

string

Формат данных.

Возвращается: success

sourceUris

list / elements=string

Полные URI, указывающие на ваши данные в Google Cloud.

Для URI Google Cloud Storage: каждый URI может содержать один подстановочный символ «*», который должен находиться после имени «bucket». На внешние источники данных распространяются ограничения размера для заданий загрузки. Для URI Google Cloud Bigtable: можно указать только один URI; это должен быть полный допустимый HTTPS URL таблицы Google Cloud Bigtable. Для резервных копий Google Cloud Datastore можно указать только один URI. Кроме того, подстановочный символ «*» не допускается.

Возвращается: success

friendlyName

string

Описательное имя этой таблицы.

Возвращается: success

id

string

Непрозрачный идентификатор, однозначно определяющий таблицу.

Возвращается: success

labels

dictionary

Метки, связанные с этим набором данных. Их можно использовать для организации и группировки наборов данных.

Возвращается: success

lastModifiedTime

integer

Время последнего изменения этой таблицы в миллисекундах с начала эпохи.

Возвращается: success

location

string

Географическое местоположение таблицы. Это значение наследуется от набора данных.

Возвращается: success

name

string

Имя таблицы.

Возвращается: success

numBytes

integer

Размер этой таблицы в байтах без учета данных в буфере потоковой передачи.

Возвращается: success

numLongTermBytes

integer

Количество байтов в таблице, относящихся к «долгосрочному хранению».

Возвращается: success

numRows

integer

Количество строк данных в этой таблице без учета данных в буфере потоковой передачи.

Возвращается: success

requirePartitionFilter

boolean

Если задано значение true, запросы к этой таблице должны содержать фильтр разделов, который можно использовать для исключения разделов.

Возвращается: success

schema

complex

Описывает схему этой таблицы.

Возвращается: при успехе

fields

complex

Описывает поля таблицы.

Возвращается: при успехе

description

string

Описание поля. Максимальная длина — 1 024 символа.

Возвращается: при успехе

fields

list / elements=string

Описывает вложенные поля схемы, если для свойства type задано значение RECORD.

Возвращается: при успехе

mode

string

Режим поля.

Возвращается: при успехе

name

string

Имя поля.

Возвращается: при успехе

type

string

Тип данных поля.

Возвращается: при успехе

streamingBuffer

complex

Содержит сведения о буфере потоковой передачи этой таблицы, если он существует. Это поле отсутствует, если потоковая передача в таблицу не выполняется или буфер потоковой передачи не содержит данных.

Возвращается: при успехе

estimatedBytes

integer

Нижняя оценка количества байтов, находящихся в данный момент в буфере потоковой передачи.

Возвращается: при успехе

estimatedRows

integer

Нижняя оценка количества строк, находящихся в данный момент в буфере потоковой передачи.

Возвращается: при успехе

oldestEntryTime

integer

Если буфер потоковой передачи доступен, содержит отметку времени самой старой записи в нём в миллисекундах с начала эпохи.

Возвращается: при успехе

tableReference

complex

Ссылка, описывающая идентификатор этой таблицы.

Возвращается: при успехе

datasetId

string

Идентификатор набора данных, содержащего эту таблицу.

Возвращается: при успехе

projectId

string

Идентификатор проекта, содержащего эту таблицу.

Возвращается: при успехе

tableId

string

Идентификатор таблицы.

Возвращается: при успехе

timePartitioning

complex

Если указано, настраивает для этой таблицы разбиение на разделы по времени.

Возвращается: при успехе

expirationMs

integer

Количество миллисекунд, в течение которых следует хранить данные раздела.

Возвращается: при успехе

field

string

Если параметр не задан, таблица разбивается на разделы по псевдостолбцу, который может обозначаться как «_PARTITIONTIME» с типом TIMESTAMP или как «_PARTITIONDATE» с типом DATE. Если указано поле, таблица разбивается на разделы по этому полю. Поле должно быть полем верхнего уровня типа TIMESTAMP или DATE. Его режим должен быть NULLABLE или REQUIRED.

Возвращается: при успехе

type

string

Поддерживается только тип DAY, который создаёт один раздел на каждый день.

Возвращается: при успехе

type

string

Описывает тип таблицы.

Возвращается: при успехе

view

complex

Определение представления.

Возвращается: при успехе

useLegacySql

boolean

Указывает, следует ли использовать в этом представлении устаревший диалект SQL BigQuery.

Возвращается: при успехе

userDefinedFunctionResources

complex

Описывает ресурсы пользовательских функций, используемые в запросе.

Возвращается: при успехе

inlineCode

string

Встроенный ресурс, содержащий код пользовательской функции (UDF). Указание ресурса со встроенным кодом эквивалентно указанию URI файла с тем же кодом.

Возвращается: при успехе

resourceUri

string

Ресурс с кодом, загружаемый из URI Google Cloud Storage (gs://bucket/path).

Возвращается: при успехе