Spec-Zone.ru › AWS CLI v2

[ aws . athena ]

create-data-catalog

Описание

Создаёт (регистрирует) каталог данных с указанным именем и свойствами. Созданные каталоги видны всем пользователям одной учётной записи Amazon Web Services.

Для каталога типа FEDERATED данная операция API создаёт следующие ресурсы.

  • Имя стека CFN максимальной длины 128 символов и префиксом athenafederatedcatalog-CATALOG_NAME_SANITIZED длиной 23 символа.
  • Имя функции Lambda максимальной длины 64 символа и префиксом athenafederatedcatalog_CATALOG_NAME_SANITIZED длиной 23 символа.
  • Имя подключения Glue максимальной длины 255 символов и префиксом athenafederatedcatalog_CATALOG_NAME_SANITIZED длиной 23 символа.

См. также: Документация API AWS

Синтаксис

  create-data-catalog
--name <value>
--type <value>
[--description <value>]
[--parameters <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--name (строка)

Имя создаваемого каталога данных. Имя каталога должно быть уникальным для учётной записи Amazon Web Services и может содержать до 127 символов из алфавитно-цифровых, символов подчёркивания, знака «@» или дефиса. Остаток ограничения в 256 символов зарезервирован для использования Athena.

Для каталога типа FEDERATED имя каталога имеет следующие соображения и ограничения:

  • Имя каталога допускает специальные символы, такие как _ , @ , \ , - . Эти символы заменяются дефисом (-) при создании имени стека CFN и подчёркиванием (_) при создании имени функции Lambda и подключения Glue.
  • Теоретический предел длины имени каталога составляет 128 символов. Однако, поскольку мы используем его для создания других ресурсов, допускающих меньшую длину, и добавляем к нему префикс, фактическое ограничение длины имени каталога для каталога типа FEDERATED составляет 64 - 23 = 41 символ.

--type (строка)

Тип создаваемого каталога данных: LAMBDA для федеративного каталога, GLUE для каталога Glue Data Catalog и HIVE для внешнего метаданных Apache Hive. FEDERATED является федеративным каталогом, для которого Athena создаёт подключение и функцию Lambda на основе переданных параметров.

Для каталогов типа FEDERATED мы не поддерживаем IAM identity center.

Возможные значения:

  • LAMBDA
  • GLUE
  • HIVE
  • FEDERATED

--description (строка)

Описание создаваемого каталога данных.

--parameters (словарь)

Указывает функцию Lambda или функции, используемые для создания каталога данных. Это отображение, значения которого зависят от типа каталога.

  • Для каталога типа HIVE используйте следующий синтаксис. Параметр metadata-function обязателен. Параметр The sdk-version необязателен и по умолчанию соответствует текущей поддерживаемой версии. ``metadata-function=*lambda_arn* , sdk-version=*version_number* ``
  • Для каталога типа LAMBDA используйте один из следующих наборов обязательных параметров, но не оба одновременно.
    • Если у вас есть одна функция Lambda для обработки метаданных и другая для чтения фактических данных, используйте следующий синтаксис. Оба параметра обязательны. ``metadata-function=*lambda_arn* , record-function=*lambda_arn* ``
    • Если у вас есть составная функция Lambda, обрабатывающая как метаданные, так и данные, используйте следующий синтаксис для указания вашей функции Lambda. ``function=*lambda_arn* ``
  • Тип GLUE принимает параметр catalog ID и является обязательным. `` catalog_id `` — это идентификатор учётной записи Amazon Web Services, к которой принадлежит каталог Glue Data Catalog. ``catalog-id=*catalog_id* ``
    • Тип GLUE каталога также применяется к стандартному каталогу AwsDataCatalog, который уже существует в вашей учётной записи, из которого может быть только один и который нельзя изменить.
  • Тип FEDERATED каталога использует один из следующих параметров, но не оба одновременно. Используйте connection-arn для существующего подключения Glue. Используйте connection-type и connection-properties для указания настроек конфигурации для нового подключения.
    • ``connection-arn:<glue_connection_arn_to_reuse> ``
    • lambda-role-arn (необязательно): роль выполнения, используемая функцией Lambda. Если не указана, создаётся по умолчанию.
    • connection-type:MYSQL|REDSHIFT|...., connection-properties:"*<json_string>* " Для * <json_string> * используйте закодированный JSON-текст, как в следующем примере. "{\"spill_bucket\":\"my_spill\",\"spill_prefix\":\"athena-spill\",\"host\":\"abc12345.snowflakecomputing.com\",\"port\":\"1234\",\"warehouse\":\"DEV_WH\",\"database\":\"TEST\",\"schema\":\"PUBLIC\",\"SecretArn\":\"arn:aws:secretsmanager:ap-south-1:111122223333:secret:snowflake-XHb67j\"}"

ключ -> (строка)

значение -> (строка)

Упрощённый синтаксис:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--tags (список)

Список тегов, разделённых запятыми, которые необходимо добавить к создаваемому каталогу данных. Все ресурсы, созданные операцией API CreateDataCatalog с типом FEDERATED, будут иметь тег federated_athena_datacatalog="true" . Сюда входят стек CFN, подключение Glue, каталог данных Athena и все ресурсы, созданные как часть стека CFN (функция Lambda, политики/роли IAM).

(структура)

Метка, которую вы назначаете ресурсу. Ресурсы Athena включают рабочие группы, каталоги данных и резервы мощностей. Каждая метка состоит из ключа и необязательного значения, которые вы определяете. Например, вы можете использовать метки для категоризации ресурсов Athena по назначению, владельцу или среде. Используйте согласованный набор ключей меток, чтобы облегчить поиск и фильтрацию ресурсов в вашей учётной записи. Для рекомендаций см. Практические рекомендации по применению меток. Ключи меток могут содержать от 1 до 128 символов UTF-8, а значения меток — от 0 до 256 символов UTF-8. Метки могут содержать буквы и цифры, представляемые в UTF-8, и следующие символы: + - = . _ : / @. Ключи и значения меток чувствительны к регистру. Ключи меток должны быть уникальными для каждого ресурса. Если вы указываете более одной метки, разделяйте их запятыми.

Ключ -> (строка)

Ключ метки. Длина ключа метки составляет от 1 до 128 символов в UTF-8. Вы можете использовать буквы и цифры, которые можно представить в UTF-8, а также следующие символы: + - = . _ : / @. Ключи меток чувствительны к регистру и должны быть уникальными для каждого ресурса.

Значение -> (строка)

Значение метки. Длина значения метки составляет от 0 до 256 символов в UTF-8. Вы можете использовать буквы и цифры, которые можно представить в UTF-8, а также следующие символы: + - = . _ : / @. Значения меток чувствительны к регистру.

Упрощённый синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределяют значения, предоставленные JSON. Невозможно передать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладочную запись.

--endpoint-url (строка)

Переопределить URL по умолчанию команды на заданный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при взаимодействии с сервисами AWS. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

  • json
  • текст
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

  • вкл
  • выкл
  • авто

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл с набором сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения к сокету в секундах. Если значение установлено в 0, подключение к сокету будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое отображается в двоичном блоке, fileb:// всегда будет обрабатываться как двоичное и использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить пагинатор cli для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров ввода CLI.

Примеры

Примечание

Для использования следующих примеров необходимо установить и настроить AWS CLI. Дополнительную информацию см. в руководстве по началу работы в руководстве пользователя AWS CLI.

Если не указано иное, все примеры используют правила цитирования в стиле Unix. Эти примеры необходимо адаптировать к правилам цитирования вашей оболочки. См. Использование кавычек со строками в руководстве пользователя AWS CLI.

Для создания каталога данных

Следующий create-data-catalog пример создает dynamo_db_catalog каталог данных.

aws athena create-data-catalog \
    --name dynamo_db_catalog \
    --type LAMBDA \
    --description "DynamoDB Catalog" \
    --parameters function=arn:aws:lambda:us-west-2:111122223333:function:dynamo_db_lambda

Эта команда не выводит никаких результатов. Чтобы увидеть результат, используйте aws athena get-data-catalog --name dynamo_db_catalog.

Дополнительную информацию см. в разделе Регистрация каталога: create-data-catalog в руководстве пользователя Amazon Athena.

Вывод

DataCatalog -> (структура)

Содержит информацию о каталоге данных в учетной записи Amazon Web Services.

Примечание

В консоли Athena каталоги данных отображаются как «источники данных» на странице «Источники данных» в столбце «Имя источника данных».

Name -> (строка)

Имя каталога данных. Имя каталога должно быть уникальным для учетной записи Amazon Web Services и может содержать не более 127 символов из алфавитно-цифровых символов, символов подчеркивания, знаков «@» или дефисов. Остаток ограничения длины 256 символов зарезервирован для использования Athena.

Description -> (строка)

Необязательное описание каталога данных.

Type -> (строка)

Тип создаваемого каталога данных: LAMBDA для федеративного каталога, GLUE для каталога Glue Data Catalog и HIVE для внешнего метаданных Apache Hive. FEDERATED — это федеративный каталог, для которого Athena создает соединение и функцию Lambda за вас на основе параметров, которые вы передаете.

Parameters -> (карта)

Указывает функцию Lambda или функции, которые необходимо использовать для каталога данных. Это отображение, значения которого зависят от типа каталога.

  • Для типа каталога HIVE используйте следующий синтаксис. Параметр metadata-function обязателен. Параметр The sdk-version необязателен и по умолчанию равен поддерживаемой версии. ``metadata-function=*lambda_arn* , sdk-version=*version_number* ``
  • Для типа каталога LAMBDA используйте один из следующих наборов обязательных параметров, но не оба.
    • Если у вас есть одна функция Lambda, которая обрабатывает метаданные, и другая для чтения фактических данных, используйте следующий синтаксис. Оба параметра обязательны. ``metadata-function=*lambda_arn* , record-function=*lambda_arn* ``
    • Если у вас есть составная функция Lambda, которая обрабатывает и метаданные, и данные, используйте следующий синтаксис для указания вашей функции Lambda. ``function=*lambda_arn* ``
  • Тип GLUE принимает параметр ID каталога и является обязательным. `` catalog_id `` — это ID учетной записи Amazon Web Services, к которой принадлежит каталог Glue. ``catalog-id=*catalog_id* ``
    • Тип каталога GLUE также применяется к по умолчанию AwsDataCatalog, который уже существует в вашей учетной записи, из которой вы можете иметь только один и не можете изменить.
  • Тип каталога FEDERATED использует один из следующих параметров, но не оба. Используйте connection-arn для существующего подключения Glue. Используйте connection-type и connection-properties для указания параметров конфигурации для нового подключения.
    • ``connection-arn:<glue_connection_arn_to_reuse> ``
    • connection-type:MYSQL|REDSHIFT|...., connection-properties:"*<json_string>* " Для * <json_string> * используйте экранированный текстовый JSON, как в следующем примере. "{\"spill_bucket\":\"my_spill\",\"spill_prefix\":\"athena-spill\",\"host\":\"abc12345.snowflakecomputing.com\",\"port\":\"1234\",\"warehouse\":\"DEV_WH\",\"database\":\"TEST\",\"schema\":\"PUBLIC\",\"SecretArn\":\"arn:aws:secretsmanager:ap-south-1:111122223333:secret:snowflake-XHb67j\"}"

key -> (строка)

value -> (строка)

Status -> (строка)

Статус создания или удаления каталога данных.

  • Типы каталогов данных LAMBDA , GLUE и HIVE создаются синхронно. Их статус — либо CREATE_COMPLETE, либо CREATE_FAILED.
  • Тип каталога FEDERATED создается асинхронно.

Статус создания каталога данных:

  • CREATE_IN_PROGRESS : Процесс создания федеративного каталога данных.
  • CREATE_COMPLETE : Создание каталога данных завершено.
  • CREATE_FAILED : Каталог данных не может быть создан.
  • CREATE_FAILED_CLEANUP_IN_PROGRESS : Создание федеративного каталога данных завершилось ошибкой и удаляется.
  • CREATE_FAILED_CLEANUP_COMPLETE : Создание федеративного каталога данных завершилось ошибкой и было удалено.
  • CREATE_FAILED_CLEANUP_FAILED : Создание федеративного каталога данных завершилось ошибкой, но не удалено.

Статус удаления каталога данных:

  • DELETE_IN_PROGRESS : Процесс удаления федеративного каталога данных.
  • DELETE_COMPLETE : Федеративный каталог данных удален.
  • DELETE_FAILED : Федеративный каталог данных не может быть удален.

ConnectionType -> (строка)

Тип подключения для каталога данных FEDERATED (например, REDSHIFT , MYSQL или SQLSERVER ). Дополнительную информацию об отдельных коннекторах см. в разделе Доступные коннекторы источников данных.

Error -> (строка)

Текст ошибки, произошедшей при создании или удалении каталога данных.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API