create-data-catalog
Описание
Создаёт (регистрирует) каталог данных с указанным именем и свойствами. Созданные каталоги видны всем пользователям одной учётной записи Amazon Web Services.
Для каталога типа FEDERATED данная операция API создаёт следующие ресурсы.
- Имя стека CFN максимальной длины 128 символов и префиксом
athenafederatedcatalog-CATALOG_NAME_SANITIZEDдлиной 23 символа. - Имя функции Lambda максимальной длины 64 символа и префиксом
athenafederatedcatalog_CATALOG_NAME_SANITIZEDдлиной 23 символа. - Имя подключения Glue максимальной длины 255 символов и префиксом
athenafederatedcatalog_CATALOG_NAME_SANITIZEDдлиной 23 символа.
См. также: Документация API AWS
Синтаксис
create-data-catalog
--name <value>
--type <value>
[--description <value>]
[--parameters <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--name (строка)
Имя создаваемого каталога данных. Имя каталога должно быть уникальным для учётной записи Amazon Web Services и может содержать до 127 символов из алфавитно-цифровых, символов подчёркивания, знака «@» или дефиса. Остаток ограничения в 256 символов зарезервирован для использования Athena.
Для каталога типа FEDERATED имя каталога имеет следующие соображения и ограничения:
- Имя каталога допускает специальные символы, такие как
_ , @ , \ , -. Эти символы заменяются дефисом (-) при создании имени стека CFN и подчёркиванием (_) при создании имени функции Lambda и подключения Glue. - Теоретический предел длины имени каталога составляет 128 символов. Однако, поскольку мы используем его для создания других ресурсов, допускающих меньшую длину, и добавляем к нему префикс, фактическое ограничение длины имени каталога для каталога типа
FEDERATEDсоставляет 64 - 23 = 41 символ.
--type (строка)
Тип создаваемого каталога данных: LAMBDA для федеративного каталога, GLUE для каталога Glue Data Catalog и HIVE для внешнего метаданных Apache Hive. FEDERATED является федеративным каталогом, для которого Athena создаёт подключение и функцию Lambda на основе переданных параметров.
Для каталогов типа FEDERATED мы не поддерживаем IAM identity center.
Возможные значения:
LAMBDAGLUEHIVEFEDERATED
--description (строка)
--parameters (словарь)
Указывает функцию Lambda или функции, используемые для создания каталога данных. Это отображение, значения которого зависят от типа каталога.
- Для каталога типа
HIVEиспользуйте следующий синтаксис. Параметрmetadata-functionобязателен. ПараметрThe sdk-versionнеобязателен и по умолчанию соответствует текущей поддерживаемой версии. ``metadata-function=*lambda_arn* , sdk-version=*version_number* `` - Для каталога типа
LAMBDAиспользуйте один из следующих наборов обязательных параметров, но не оба одновременно.- Если у вас есть одна функция Lambda для обработки метаданных и другая для чтения фактических данных, используйте следующий синтаксис. Оба параметра обязательны. ``metadata-function=*lambda_arn* , record-function=*lambda_arn* ``
- Если у вас есть составная функция Lambda, обрабатывающая как метаданные, так и данные, используйте следующий синтаксис для указания вашей функции Lambda. ``function=*lambda_arn* ``
- Тип
GLUEпринимает параметр catalog ID и является обязательным. `` catalog_id `` — это идентификатор учётной записи Amazon Web Services, к которой принадлежит каталог Glue Data Catalog. ``catalog-id=*catalog_id* ``- Тип
GLUEкаталога также применяется к стандартному каталогуAwsDataCatalog, который уже существует в вашей учётной записи, из которого может быть только один и который нельзя изменить.
- Тип
- Тип
FEDERATEDкаталога использует один из следующих параметров, но не оба одновременно. Используйтеconnection-arnдля существующего подключения Glue. Используйтеconnection-typeиconnection-propertiesдля указания настроек конфигурации для нового подключения.- ``connection-arn:<glue_connection_arn_to_reuse> ``
-
lambda-role-arn(необязательно): роль выполнения, используемая функцией Lambda. Если не указана, создаётся по умолчанию. -
connection-type:MYSQL|REDSHIFT|...., connection-properties:"*<json_string>* "Для *<json_string>* используйте закодированный JSON-текст, как в следующем примере."{\"spill_bucket\":\"my_spill\",\"spill_prefix\":\"athena-spill\",\"host\":\"abc12345.snowflakecomputing.com\",\"port\":\"1234\",\"warehouse\":\"DEV_WH\",\"database\":\"TEST\",\"schema\":\"PUBLIC\",\"SecretArn\":\"arn:aws:secretsmanager:ap-south-1:111122223333:secret:snowflake-XHb67j\"}"
ключ -> (строка)
значение -> (строка)
Упрощённый синтаксис:
KeyName1=string,KeyName2=string
Синтаксис JSON:
{"string": "string"
...}
--tags (список)
Список тегов, разделённых запятыми, которые необходимо добавить к создаваемому каталогу данных. Все ресурсы, созданные операцией API CreateDataCatalog с типом FEDERATED, будут иметь тег federated_athena_datacatalog="true" . Сюда входят стек CFN, подключение Glue, каталог данных Athena и все ресурсы, созданные как часть стека CFN (функция Lambda, политики/роли IAM).
(структура)
Метка, которую вы назначаете ресурсу. Ресурсы Athena включают рабочие группы, каталоги данных и резервы мощностей. Каждая метка состоит из ключа и необязательного значения, которые вы определяете. Например, вы можете использовать метки для категоризации ресурсов Athena по назначению, владельцу или среде. Используйте согласованный набор ключей меток, чтобы облегчить поиск и фильтрацию ресурсов в вашей учётной записи. Для рекомендаций см. Практические рекомендации по применению меток. Ключи меток могут содержать от 1 до 128 символов UTF-8, а значения меток — от 0 до 256 символов UTF-8. Метки могут содержать буквы и цифры, представляемые в UTF-8, и следующие символы: + - = . _ : / @. Ключи и значения меток чувствительны к регистру. Ключи меток должны быть уникальными для каждого ресурса. Если вы указываете более одной метки, разделяйте их запятыми.
Ключ -> (строка)
Значение -> (строка)
Упрощённый синтаксис:
Key=string,Value=string ...
Синтаксис JSON:
[
{
"Key": "string",
"Value": "string"
}
...
]
--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределяют значения, предоставленные JSON. Невозможно передать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Глобальные параметры
--debug (логическое значение)
Включить отладочную запись.
--endpoint-url (строка)
Переопределить URL по умолчанию команды на заданный URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при взаимодействии с сервисами AWS. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.
--no-paginate (логическое значение)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования вывода команды.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определённый профиль из файла учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- вкл
- выкл
- авто
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.
--ca-bundle (строка)
Файл с набором сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения к сокету в секундах. Если значение установлено в 0, подключение к сокету будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое отображается в двоичном блоке, fileb:// всегда будет обрабатываться как двоичное и использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить пагинатор cli для вывода.
--cli-auto-prompt (логическое значение)
Автоматически запросить параметры ввода CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматическое запросы параметров ввода CLI.
Примеры
Примечание
Для использования следующих примеров необходимо установить и настроить AWS CLI. Дополнительную информацию см. в руководстве по началу работы в руководстве пользователя AWS CLI.
Если не указано иное, все примеры используют правила цитирования в стиле Unix. Эти примеры необходимо адаптировать к правилам цитирования вашей оболочки. См. Использование кавычек со строками в руководстве пользователя AWS CLI.
Для создания каталога данных
Следующий create-data-catalog пример создает dynamo_db_catalog каталог данных.
aws athena create-data-catalog \
--name dynamo_db_catalog \
--type LAMBDA \
--description "DynamoDB Catalog" \
--parameters function=arn:aws:lambda:us-west-2:111122223333:function:dynamo_db_lambda
Эта команда не выводит никаких результатов. Чтобы увидеть результат, используйте aws athena get-data-catalog --name dynamo_db_catalog.
Дополнительную информацию см. в разделе Регистрация каталога: create-data-catalog в руководстве пользователя Amazon Athena.
Вывод
DataCatalog -> (структура)
Содержит информацию о каталоге данных в учетной записи Amazon Web Services.
Примечание
В консоли Athena каталоги данных отображаются как «источники данных» на странице «Источники данных» в столбце «Имя источника данных».Name -> (строка)
Description -> (строка)
Type -> (строка)
LAMBDA для федеративного каталога, GLUE для каталога Glue Data Catalog и HIVE для внешнего метаданных Apache Hive. FEDERATED — это федеративный каталог, для которого Athena создает соединение и функцию Lambda за вас на основе параметров, которые вы передаете.Parameters -> (карта)
Указывает функцию Lambda или функции, которые необходимо использовать для каталога данных. Это отображение, значения которого зависят от типа каталога.
- Для типа каталога
HIVEиспользуйте следующий синтаксис. Параметрmetadata-functionобязателен. ПараметрThe sdk-versionнеобязателен и по умолчанию равен поддерживаемой версии. ``metadata-function=*lambda_arn* , sdk-version=*version_number* `` - Для типа каталога
LAMBDAиспользуйте один из следующих наборов обязательных параметров, но не оба.- Если у вас есть одна функция Lambda, которая обрабатывает метаданные, и другая для чтения фактических данных, используйте следующий синтаксис. Оба параметра обязательны. ``metadata-function=*lambda_arn* , record-function=*lambda_arn* ``
- Если у вас есть составная функция Lambda, которая обрабатывает и метаданные, и данные, используйте следующий синтаксис для указания вашей функции Lambda. ``function=*lambda_arn* ``
- Тип
GLUEпринимает параметр ID каталога и является обязательным. `` catalog_id `` — это ID учетной записи Amazon Web Services, к которой принадлежит каталог Glue. ``catalog-id=*catalog_id* ``- Тип каталога
GLUEтакже применяется к по умолчаниюAwsDataCatalog, который уже существует в вашей учетной записи, из которой вы можете иметь только один и не можете изменить.
- Тип каталога
- Тип каталога
FEDERATEDиспользует один из следующих параметров, но не оба. Используйтеconnection-arnдля существующего подключения Glue. Используйтеconnection-typeиconnection-propertiesдля указания параметров конфигурации для нового подключения.- ``connection-arn:<glue_connection_arn_to_reuse> ``
-
connection-type:MYSQL|REDSHIFT|...., connection-properties:"*<json_string>* "Для *<json_string>* используйте экранированный текстовый JSON, как в следующем примере."{\"spill_bucket\":\"my_spill\",\"spill_prefix\":\"athena-spill\",\"host\":\"abc12345.snowflakecomputing.com\",\"port\":\"1234\",\"warehouse\":\"DEV_WH\",\"database\":\"TEST\",\"schema\":\"PUBLIC\",\"SecretArn\":\"arn:aws:secretsmanager:ap-south-1:111122223333:secret:snowflake-XHb67j\"}"
key -> (строка)
value -> (строка)
Status -> (строка)
Статус создания или удаления каталога данных.
- Типы каталогов данных
LAMBDA,GLUEиHIVEсоздаются синхронно. Их статус — либоCREATE_COMPLETE, либоCREATE_FAILED. - Тип каталога
FEDERATEDсоздается асинхронно.
Статус создания каталога данных:
-
CREATE_IN_PROGRESS: Процесс создания федеративного каталога данных. -
CREATE_COMPLETE: Создание каталога данных завершено. -
CREATE_FAILED: Каталог данных не может быть создан. -
CREATE_FAILED_CLEANUP_IN_PROGRESS: Создание федеративного каталога данных завершилось ошибкой и удаляется. -
CREATE_FAILED_CLEANUP_COMPLETE: Создание федеративного каталога данных завершилось ошибкой и было удалено. -
CREATE_FAILED_CLEANUP_FAILED: Создание федеративного каталога данных завершилось ошибкой, но не удалено.
Статус удаления каталога данных:
-
DELETE_IN_PROGRESS: Процесс удаления федеративного каталога данных. -
DELETE_COMPLETE: Федеративный каталог данных удален. -
DELETE_FAILED: Федеративный каталог данных не может быть удален.
ConnectionType -> (строка)
FEDERATED (например, REDSHIFT , MYSQL или SQLSERVER ). Дополнительную информацию об отдельных коннекторах см. в разделе Доступные коннекторы источников данных.Error -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.