batch-get-crawlers
Описание
Возвращает список метаданных ресурсов для заданного списка имён хранилищ. После вызова операции ListCrawlers, вы можете вызвать эту операцию для доступа к данным, на которые у вас есть разрешения. Эта операция поддерживает все разрешения IAM, включая условия разрешений, использующие теги.
См. также: Документация API AWS
Синтаксис
batch-get-crawlers
--crawler-names <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--crawler-names (список)
Список имён хранилищ, которые могут быть возвращены операцией ListCrawlers.
(строка)
Синтаксис:
"string" "string" ...
--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводится пример входного JSON, который может быть использован в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, будет напечатан пример входного YAML, который может быть использован с --cli-input-yaml. Если предоставлено значение output, выполняется валидация входных данных команды и возвращается пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Глобальные параметры
--debug (логическое значение)
Включить отладку.
--endpoint-url (строка)
Переопределить URL по умолчанию команды заданным URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого соединения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.
--no-paginate (логическое значение)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования выходных данных команды.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определённый профиль из файла учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Показать версию этого инструмента.
--color (строка)
Включить/отключить цветной вывод.
- вкл
- выкл
- авто
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.
--ca-bundle (строка)
Файл с пакетом сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строкой base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставляющего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить пейджер CLI для вывода.
--cli-auto-prompt (логическое значение)
Автоматически запрашивать параметры ввода CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматическое запроса параметров ввода CLI.
Вывод
Crawlers -> (список)
Список определений ползунков.
(структура)
Указывает программу ползунка, которая проверяет источник данных и использует классификаторы для определения его схемы. При успехе ползунок записывает метаданные об источнике данных в Glue Data Catalog.
Имя -> (строка)
Роль -> (строка)
Цели -> (структура)
Коллекция целей для сканирования.
S3Targets -> (список)
Указывает цели Amazon Simple Storage Service (Amazon S3).
(структура)
Указывает хранилище данных в Amazon Simple Storage Service (Amazon S3).
Путь -> (строка)
Исключения -> (список)
Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.
(строка)
Имя подключения -> (строка)
Размер выборки -> (целое число)
EventQueueArn -> (строка)
arn:aws:sqs:region:account:sqs .DlqEventQueueArn -> (строка)
arn:aws:sqs:region:account:deadLetterQueue .JdbcTargets -> (список)
Указывает цели JDBC.
(структура)
Указывает хранилище данных JDBC для сканирования.
Имя подключения -> (строка)
Путь -> (строка)
Исключения -> (список)
Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.
(строка)
EnableAdditionalMetadata -> (список)
Укажите значение RAWTYPES или COMMENTS, чтобы включить дополнительные метаданные в ответах таблицы. RAWTYPES предоставляет тип данных на родном уровне. COMMENTS предоставляет комментарии, связанные со столбцом или таблицей в базе данных.
Если дополнительные метаданные не нужны, оставьте поле пустым.
(строка)
MongoDBTargets -> (список)
Указывает цели Amazon DocumentDB или MongoDB.
(структура)
Указывает хранилище данных Amazon DocumentDB или MongoDB для сканирования.
Имя подключения -> (строка)
Путь -> (строка)
ScanAll -> (логическое значение)
Указывает, нужно ли сканировать все записи или брать образец строк из таблицы. Сканирование всех записей может занять много времени, если таблица не имеет высокой пропускной способности.
Значение true означает сканирование всех записей, а значение false означает взятие выборки записей. Если значение не задано, используется значение по умолчанию true.
DynamoDBTargets -> (список)
Указывает цели Amazon DynamoDB.
(структура)
Указывает таблицу Amazon DynamoDB для сканирования.
Путь -> (строка)
scanAll -> (логическое значение)
Указывает, нужно ли сканировать все записи или брать образец строк из таблицы. Сканирование всех записей может занять много времени, если таблица не имеет высокой пропускной способности.
Значение true означает сканирование всех записей, а значение false означает взятие выборки записей. Если значение не задано, используется значение по умолчанию true.
scanRate -> (вещественное число)
Процент выделенных единиц пропускной способности чтения, используемых ползунком Glue. Единицы пропускной способности чтения - это термин, определяемый DynamoDB, и представляет собой числовое значение, которое действует как ограничитель скорости для количества чтений, которые могут быть выполнены по этой таблице в секунду.
Допустимые значения: null или значение от 0,1 до 1,5. Значение null используется, когда пользователь не предоставляет значение, и по умолчанию составляет 0,5 выделенных единиц пропускной способности чтения (для таблиц с предопределённой пропускной способностью) или 0,25 максимальных выделенных единиц пропускной способности чтения (для таблиц, использующих режим on-demand).
CatalogTargets -> (список)
Указывает цели Glue Data Catalog.
(структура)
Указывает цель Glue Data Catalog.
Имя базы данных -> (строка)
Таблицы -> (список)
Список таблиц для синхронизации.
(строка)
Имя подключения -> (строка)
Catalog в паре с типом подключения NETWORK.EventQueueArn -> (строка)
arn:aws:sqs:region:account:sqs .DlqEventQueueArn -> (строка)
arn:aws:sqs:region:account:deadLetterQueue .DeltaTargets -> (список)
Указывает цели хранилища Delta.
(структура)
Указывает хранилище Delta для сканирования одной или нескольких таблиц Delta.
DeltaTables -> (список)
Список путей Amazon S3 к таблицам Delta.
(строка)
Имя подключения -> (строка)
WriteManifest -> (логическое значение)
CreateNativeDeltaTable -> (логическое значение)
IcebergTargets -> (список)
Указывает цели хранилища Apache Iceberg.
(структура)
Указывает источник данных Apache Iceberg, где таблицы Iceberg хранятся в Amazon S3.
Пути -> (список)
Один или несколько путей Amazon S3, содержащих папки метаданных Iceberg в виде s3://bucket/prefix.
(строка)
Имя подключения -> (строка)
Исключения -> (список)
Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.
(строка)
Максимальная глубина обхода -> (целое число)
HudiTargets -> (список)
Указывает цели хранилища Apache Hudi.
(структура)
Указывает источник данных Apache Hudi.
Пути -> (список)
Массив строк местоположения Amazon S3 для Hudi, каждый из которых указывает корневую папку, в которой находятся файлы метаданных таблицы Hudi. Папка Hudi может находиться в папке-потомке корневой папки.
Ползунок будет просматривать все папки под путем для поиска папки Hudi.
(строка)
Имя подключения -> (строка)
Исключения -> (список)
Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.
(строка)
Максимальная глубина обхода -> (целое число)
Имя базы данных -> (строка)
Описание -> (строка)
Классификаторы -> (список)
Список строк UTF-8, указывающих пользовательские классификаторы, связанные с ползунком.
(строка)
RecrawlPolicy -> (структура)
Политика, которая указывает, нужно ли сканировать весь набор данных снова или только папки, добавленные после последнего запуска ползунка.
RecrawlBehavior -> (строка)
Указывает, нужно ли сканировать весь набор данных снова или только папки, добавленные после последнего запуска ползунка.
Значение CRAWL_EVERYTHING указывает на сканирование всего набора данных снова.
Значение CRAWL_NEW_FOLDERS_ONLY указывает на сканирование только папок, добавленных после последнего запуска ползунка.
Значение CRAWL_EVENT_MODE указывает на сканирование только изменений, определённых событиями Amazon S3.
SchemaChangePolicy -> (структура)
Политика, которая указывает поведение при обновлении и удалении для ползунка.
UpdateBehavior -> (строка)
DeleteBehavior -> (строка)
LineageConfiguration -> (структура)
Настройка, которая указывает, включена ли функция отслеживания данных для ползунка.
CrawlerLineageSettings -> (строка)
Указывает, включена ли функция отслеживания данных для ползунка. Допустимые значения:
- ENABLE: включает отслеживание данных для ползунка
- DISABLE: отключает отслеживание данных для ползунка
Состояние -> (строка)
TablePrefix -> (строка)
Расписание -> (структура)
Для запланированных ползунков, расписание запуска ползунка.
ScheduleExpression -> (строка)
cron выражение, используемое для указания расписания (см. Расписания по времени для задач и ползунков. Например, для запуска ежедневно в 12:15 по UTC, вы бы указали: cron(15 12 * * ? *).Состояние -> (строка)
CrawlElapsedTime -> (целое число большого размера)
CreationTime -> (метка времени)
LastUpdated -> (метка времени)
LastCrawl -> (структура)
Статус последнего сканирования и потенциальная информация об ошибке, если она произошла.
Status -> (строка)
ErrorMessage -> (строка)
LogGroup -> (строка)
LogStream -> (строка)
MessagePrefix -> (строка)
StartTime -> (метка времени)
Version -> (целое число)
Configuration -> (строка)
CrawlerSecurityConfiguration -> (строка)
SecurityConfiguration, которая должна использоваться этим сканером.LakeFormationConfiguration -> (структура)
Указывает, должен ли сканер использовать учетные данные Lake Formation для сканера вместо учетных данных роли IAM.
UseLakeFormationCredentials -> (булево)
AccountId -> (строка)
CrawlersNotFound -> (список)
Список имён сканеров, которые не были найдены.
(строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.