Spec-Zone.ru › AWS CLI v2

[ aws . glue ]

Получение метаданных неотфильтрованных партиций

Описание

Получает метаданные партиций из каталога данных, содержащие неотфильтрованные метаданные.

Для авторизации IAM общедоступное действие IAM, связанное с этим API, — glue:GetPartitions.

См. также: Документация по API AWS

Синтаксис

  get-unfiltered-partitions-metadata
--catalog-id <value>
--database-name <value>
--table-name <value>
[--expression <value>]
[--audit-context <value>]
--supported-permission-types <value>
[--next-token <value>]
[--segment <value>]
[--max-results <value>]
[--query-session-context <value>]
[--resource-region <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--catalog-id (строка)

Идентификатор каталога данных, в котором находятся интересующие партиции. Если не указано, используется идентификатор учетной записи AWS по умолчанию.

--database-name (строка)

Имя базы данных каталога, в которой находятся партиции.

--table-name (строка)

Имя таблицы, содержащей партицию.

--expression (строка)

Выражение, фильтрующее возвращаемые партиции.

Выражение использует синтаксис SQL, похожий на предложение фильтра SQL WHERE. Выражение анализируется парсером SQL JSQLParser.

Операторы: Ниже приведены операторы, которые можно использовать в вызове API Expression:

=

Проверяет, равны ли значения двух операндов; если да, то условие истинно.

Пример: предположим, что переменная «a» содержит 10, а «b» — 20.

(a = b) не является истинным.

< >

Проверяет, равны ли значения двух операндов; если значения не равны, то условие истинно.

Пример: (a < > b) — истинно.

>

Проверяет, больше ли значение левого операнда значения правого операнда; если да, то условие истинно.

Пример: (a > b) не является истинным.

<

Проверяет, меньше ли значение левого операнда значения правого операнда; если да, то условие истинно.

Пример: (a < b) — истинно.

>=

Проверяет, больше или равно ли значение левого операнда значению правого операнда; если да, то условие истинно.

Пример: (a >= b) не является истинным.

<=

Проверяет, меньше или равно ли значение левого операнда значению правого операнда; если да, то условие истинно.

Пример: (a <= b) — истинно.

AND, OR, IN, BETWEEN, LIKE, NOT, IS NULL

Логические операторы.

Поддерживаемые типы ключей партиций: Ниже приведены поддерживаемые ключи партиций.
  • string
  • date
  • timestamp
  • int
  • bigint
  • long
  • tinyint
  • smallint
  • decimal

Если тип не является допустимым, выбрасывается исключение.

--audit-context (структура)

Структура, содержащая информацию о контексте аудита Lake Formation.

AdditionalAuditContext -> (строка)

Строка, содержащая дополнительную информацию о контексте аудита.

RequestedColumns -> (список)

Запрашиваемые столбцы для аудита.

(строка)

AllColumnsRequested -> (булево)

Запрос на аудит всех столбцов.

Упрощенный синтаксис:

AdditionalAuditContext=string,RequestedColumns=string,string,AllColumnsRequested=boolean

Синтаксис JSON:

{
  "AdditionalAuditContext": "string",
  "RequestedColumns": ["string", ...],
  "AllColumnsRequested": true|false
}

--supported-permission-types (список)

Список поддерживаемых типов разрешений.

(строка)

Синтаксис:

"string" "string" ...

Where valid values are:
  COLUMN_PERMISSION
  CELL_FILTER_PERMISSION
  NESTED_PERMISSION
  NESTED_CELL_PERMISSION

--next-token (строка)

Маркер продолжения, если это не первый вызов для получения этих партиций.

--segment (структура)

Участок партиций таблицы для сканирования в этом запросе.

SegmentNumber -> (целое число)

Индекс сегмента с нуля. Например, если общее количество сегментов равно 4, значения SegmentNumber изменяются от 0 до 3.

TotalSegments -> (целое число)

Общее количество сегментов.

Упрощенный синтаксис:

SegmentNumber=integer,TotalSegments=integer

Синтаксис JSON:

{
  "SegmentNumber": integer,
  "TotalSegments": integer
}

--max-results (целое число)

Максимальное количество партиций, возвращаемых в одном ответе.

--query-session-context (структура)

Структура, используемая в качестве протокола между движками запросов и Lake Formation или Glue. Содержит идентификатор авторизации, сгенерированный Lake Formation, и информацию из контекста авторизации запроса.

QueryId -> (строка)

Уникальный идентификатор, сгенерированный движком запросов для запроса.

QueryStartTime -> (временная метка)

Временная метка, предоставленная движком запросов, когда запрос был начат.

ClusterId -> (строка)

Идентификационная строка для кластера-потребителя.

QueryAuthorizationId -> (строка)

Криптографически сгенерированный идентификатор запроса, сгенерированный Glue или Lake Formation.

AdditionalContext -> (карта)

Непрозрачная карта строка-строка, переданная движком запросов.

key -> (строка)

value -> (строка)

Упрощенный синтаксис:

QueryId=string,QueryStartTime=timestamp,ClusterId=string,QueryAuthorizationId=string,AdditionalContext={KeyName1=string,KeyName2=string}

Синтаксис JSON:

{
  "QueryId": "string",
  "QueryStartTime": timestamp,
  "ClusterId": "string",
  "QueryAuthorizationId": "string",
  "AdditionalContext": {"string": "string"
    ...}
}

--resource-region (строка)

Указывается только в том случае, если базовые таблицы принадлежат другой области Amazon Web Services.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределяют значения, предоставленные в JSON. Передача произвольных двоичных значений с помощью предоставленного значения JSON невозможна, поскольку строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса API. Если предоставлено значение или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, оно выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернет пример выходного JSON для этой команды. Сгенерированный каркас JSON не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Глобальные параметры

--debug (булево)

Включить отладку.

--endpoint-url (строка)

Переопределить значение URL по умолчанию команды заданным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (булево)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команд.

  • json
  • текст
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Использовать определенный регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/отключить вывод цвета.

  • вкл
  • выкл
  • авто

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (строка)

Файл пакета сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь тайм-аута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения к сокету в секундах. Если значение установлено в 0, подключение к сокету будет блокирующим и не будет иметь тайм-аута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как закодированная строка base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое соответствует двоичному блоку, fileb:// всегда будет рассматриваться как двоичный и будет использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (булево)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (булево)

Автоматически запросить параметры ввода CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическое запрошение параметров ввода CLI.

Вывод

UnfilteredPartitions -> (список)

Список запрошенных разделов.

(структура)

Раздел, содержащий неотфильтрованные метаданные.

Раздел -> (структура)

Объект раздела.

Значения -> (список)

Значения раздела.

(строка)

ИмяБазыДанных -> (строка)

Имя каталожной базы данных, в которой нужно создать раздел.

ИмяТаблицы -> (строка)

Имя таблицы базы данных, в которой нужно создать раздел.

ВремяСозд -> (метка времени)

Время создания раздела.

ВремяПоследнегоДоступа -> (метка времени)

Последнее время доступа к разделу.

ОписаниеХранения -> (структура)

Предоставляет информацию о физическом расположении, где хранится раздел.

Столбцы -> (список)

Список Columns в таблице.

(структура)

Столбец в Table .

Имя -> (строка)

Имя Column .

Тип -> (строка)

Тип данных Column .

Комментарий -> (строка)

Текстовый комментарий произвольной формы.

Параметры -> (карта)

Эти пары ключ-значение определяют свойства, связанные со столбцом.

ключ -> (строка)

значение -> (строка)

Расположение -> (строка)

Физическое расположение таблицы. По умолчанию оно имеет вид расположения хранилища, за которым следует расположение базы данных в хранилище, а затем имя таблицы.

ДополнительныеРасположения -> (список)

Список расположений, которые указывают на путь, где расположена таблица Delta.

(строка)

ФорматВвода -> (строка)

Формат ввода: SequenceFileInputFormat (двоичный), или TextInputFormat , или пользовательский формат.

ФорматВывода -> (строка)

Формат вывода: SequenceFileOutputFormat (двоичный), или IgnoreKeyTextOutputFormat , или пользовательский формат.

Сжатие -> (булево)

True, если данные в таблице сжаты, или False, если нет.

КоличествоВедер -> (целое)

Должно быть указано, если таблица содержит какие-либо размерные столбцы.

ИнформацияОСериализации -> (структура)

Информация о сериализации/десериализации (SerDe).

Имя -> (строка)

Имя SerDe.

БиблиотекаСериализации -> (строка)

Обычно класс, реализующий SerDe. Пример - org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe .

Параметры -> (карта)

Эти пары ключ-значение определяют параметры инициализации для SerDe.

ключ -> (строка)

значение -> (строка)

СтолбцыВедер -> (список)

Список столбцов группировки редуктора, столбцов кластеризации и столбцов ведра в таблице.

(строка)

СтолбцыСортировки -> (список)

Список, определяющий порядок сортировки каждого ведра в таблице.

(структура)

Определяет порядок сортировки отсортированного столбца.

Столбец -> (строка)

Имя столбца.

ПорядокСортировки -> (целое)

Указывает, что столбец отсортирован по возрастанию (== 1 ), или по убыванию (==0 ).

Параметры -> (карта)

Свойства, предоставленные пользователем в виде пар ключ-значение.

ключ -> (строка)

значение -> (строка)

ИнформацияОВыбросах -> (структура)

Информация о значениях, которые часто встречаются в столбце (выбросы).

ИменаСтолбцовСВыбросами -> (список)

Список имен столбцов, содержащих выбросы.

(строка)

ЗначенияСтолбцовСВыбросами -> (список)

Список значений, которые настолько часто встречаются, что считаются выбросами.

(строка)

СопоставленияЗначенийСтолбцовСВыбросами -> (карта)

Сопоставление выбросов со столбцами, которые их содержат.

ключ -> (строка)

значение -> (строка)

ХранениеВПоддиректориях -> (булево)

True, если данные таблицы хранятся в поддиректориях, или False, если нет.

СсылкаНаСхему -> (структура)

Объект, ссылающийся на схему, хранящуюся в Glue Schema Registry.

При создании таблицы вы можете передать пустой список столбцов для схемы, а вместо этого использовать ссылку на схему.

ИдентификаторСхемы -> (структура)

Структура, содержащая поля идентификации схемы. Или это, или SchemaVersionId должны быть предоставлены.

ARNСхемы -> (строка)

Amazon Resource Name (ARN) схемы. Один из SchemaArn или SchemaName должен быть предоставлен.

ИмяСхемы -> (строка)

Имя схемы. Один из SchemaArn или SchemaName должен быть предоставлен.

ИмяРеестра -> (строка)

Имя реестра схем, который содержит схему.

ИдентификаторВерсииСхемы -> (строка)

Уникальный идентификатор, присвоенный версии схемы. Либо это, либо SchemaId должно быть предоставлено.

НомерВерсииСхемы -> (длинное целое)

Номер версии схемы.

Параметры -> (карта)

Эти пары ключ-значение определяют параметры раздела.

ключ -> (строка)

значение -> (строка)

ПоследнееВремяАнализа -> (метка времени)

Последнее время, когда для этого раздела были вычислены статистические данные по столбцам.

ИдентификаторКаталога -> (строка)

Идентификатор Data Catalog, в котором находится раздел.

АвторизованныеСтолбцы -> (список)

Список столбцов, доступ к которым у пользователя разрешен.

(строка)

ЗарегистрированоВLakeFormation -> (булево)

Булево значение, указывающее, что расположение раздела зарегистрировано в Lake Formation.

МаркерСледующейЧасти -> (строка)

Маркер продолжения, если возвращённый список разделов не включает последний.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

END_OF_DOCUMENT_MARKER

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API