Spec-Zone.ru › AWS CLI v2

[ aws . glue ]

batch-get-crawlers

Описание

Возвращает список метаданных ресурсов для заданного списка имён хранилищ. После вызова операции ListCrawlers, вы можете вызвать эту операцию для доступа к данным, на которые у вас есть разрешения. Эта операция поддерживает все разрешения IAM, включая условия разрешений, использующие теги.

См. также: Документация API AWS

Синтаксис

  batch-get-crawlers
--crawler-names <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--crawler-names (список)

Список имён хранилищ, которые могут быть возвращены операцией ListCrawlers.

(строка)

Синтаксис:

"string" "string" ...

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводится пример входного JSON, который может быть использован в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, будет напечатан пример входного YAML, который может быть использован с --cli-input-yaml. Если предоставлено значение output, выполняется валидация входных данных команды и возвращается пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладку.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого соединения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования выходных данных команды.

  • json
  • текст
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Показать версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

  • вкл
  • выкл
  • авто

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (строка)

Файл с пакетом сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строкой base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставляющего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

Crawlers -> (список)

Список определений ползунков.

(структура)

Указывает программу ползунка, которая проверяет источник данных и использует классификаторы для определения его схемы. При успехе ползунок записывает метаданные об источнике данных в Glue Data Catalog.

Имя -> (строка)

Имя ползунка.

Роль -> (строка)

Идентификатор ресурса Amazon (ARN) роли IAM, используемой для доступа к ресурсам клиента, таким как данные Amazon Simple Storage Service (Amazon S3).

Цели -> (структура)

Коллекция целей для сканирования.

S3Targets -> (список)

Указывает цели Amazon Simple Storage Service (Amazon S3).

(структура)

Указывает хранилище данных в Amazon Simple Storage Service (Amazon S3).

Путь -> (строка)

Путь к цели Amazon S3.

Исключения -> (список)

Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.

(строка)

Имя подключения -> (строка)

Имя подключения, позволяющего задаче или ползунку получить доступ к данным в Amazon S3 в среде виртуальной частной сети Amazon (Amazon VPC).

Размер выборки -> (целое число)

Устанавливает количество файлов в каждой папке на последнем уровне, которые должны быть просканированы при сканировании образцов файлов в наборе данных. Если не задано, сканируются все файлы. Допустимое значение - целое число от 1 до 249.

EventQueueArn -> (строка)

Действительный Amazon SQS ARN. Например, arn:aws:sqs:region:account:sqs .

DlqEventQueueArn -> (строка)

Действительный Amazon dead-letter SQS ARN. Например, arn:aws:sqs:region:account:deadLetterQueue .

JdbcTargets -> (список)

Указывает цели JDBC.

(структура)

Указывает хранилище данных JDBC для сканирования.

Имя подключения -> (строка)

Имя подключения для подключения к цели JDBC.

Путь -> (строка)

Путь цели JDBC.

Исключения -> (список)

Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.

(строка)

EnableAdditionalMetadata -> (список)

Укажите значение RAWTYPES или COMMENTS, чтобы включить дополнительные метаданные в ответах таблицы. RAWTYPES предоставляет тип данных на родном уровне. COMMENTS предоставляет комментарии, связанные со столбцом или таблицей в базе данных.

Если дополнительные метаданные не нужны, оставьте поле пустым.

(строка)

MongoDBTargets -> (список)

Указывает цели Amazon DocumentDB или MongoDB.

(структура)

Указывает хранилище данных Amazon DocumentDB или MongoDB для сканирования.

Имя подключения -> (строка)

Имя подключения для подключения к цели Amazon DocumentDB или MongoDB.

Путь -> (строка)

Путь Amazon DocumentDB или MongoDB (база данных/коллекция).

ScanAll -> (логическое значение)

Указывает, нужно ли сканировать все записи или брать образец строк из таблицы. Сканирование всех записей может занять много времени, если таблица не имеет высокой пропускной способности.

Значение true означает сканирование всех записей, а значение false означает взятие выборки записей. Если значение не задано, используется значение по умолчанию true.

DynamoDBTargets -> (список)

Указывает цели Amazon DynamoDB.

(структура)

Указывает таблицу Amazon DynamoDB для сканирования.

Путь -> (строка)

Имя таблицы DynamoDB для сканирования.

scanAll -> (логическое значение)

Указывает, нужно ли сканировать все записи или брать образец строк из таблицы. Сканирование всех записей может занять много времени, если таблица не имеет высокой пропускной способности.

Значение true означает сканирование всех записей, а значение false означает взятие выборки записей. Если значение не задано, используется значение по умолчанию true.

scanRate -> (вещественное число)

Процент выделенных единиц пропускной способности чтения, используемых ползунком Glue. Единицы пропускной способности чтения - это термин, определяемый DynamoDB, и представляет собой числовое значение, которое действует как ограничитель скорости для количества чтений, которые могут быть выполнены по этой таблице в секунду.

Допустимые значения: null или значение от 0,1 до 1,5. Значение null используется, когда пользователь не предоставляет значение, и по умолчанию составляет 0,5 выделенных единиц пропускной способности чтения (для таблиц с предопределённой пропускной способностью) или 0,25 максимальных выделенных единиц пропускной способности чтения (для таблиц, использующих режим on-demand).

CatalogTargets -> (список)

Указывает цели Glue Data Catalog.

(структура)

Указывает цель Glue Data Catalog.

Имя базы данных -> (строка)

Имя базы данных для синхронизации.

Таблицы -> (список)

Список таблиц для синхронизации.

(строка)

Имя подключения -> (строка)

Имя подключения для таблицы каталога данных, основанной на Amazon S3, которая является целью сканирования при использовании типа подключения Catalog в паре с типом подключения NETWORK.

EventQueueArn -> (строка)

Действительный Amazon SQS ARN. Например, arn:aws:sqs:region:account:sqs .

DlqEventQueueArn -> (строка)

Действительный Amazon dead-letter SQS ARN. Например, arn:aws:sqs:region:account:deadLetterQueue .

DeltaTargets -> (список)

Указывает цели хранилища Delta.

(структура)

Указывает хранилище Delta для сканирования одной или нескольких таблиц Delta.

DeltaTables -> (список)

Список путей Amazon S3 к таблицам Delta.

(строка)

Имя подключения -> (строка)

Имя подключения для подключения к целевой таблице Delta.

WriteManifest -> (логическое значение)

Указывает, нужно ли записывать файлы манифеста в путь таблицы Delta.

CreateNativeDeltaTable -> (логическое значение)

Указывает, будет ли ползунок создавать родные таблицы, чтобы обеспечить интеграцию с движками запросов, которые поддерживают запросы журнала транзакций Delta непосредственно.

IcebergTargets -> (список)

Указывает цели хранилища Apache Iceberg.

(структура)

Указывает источник данных Apache Iceberg, где таблицы Iceberg хранятся в Amazon S3.

Пути -> (список)

Один или несколько путей Amazon S3, содержащих папки метаданных Iceberg в виде s3://bucket/prefix.

(строка)

Имя подключения -> (строка)

Имя подключения для подключения к цели Iceberg.

Исключения -> (список)

Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.

(строка)

Максимальная глубина обхода -> (целое число)

Максимальная глубина путей Amazon S3, которые ползунок может пройти, чтобы обнаружить папку метаданных Iceberg в вашем пути Amazon S3. Используется для ограничения времени выполнения ползунка.

HudiTargets -> (список)

Указывает цели хранилища Apache Hudi.

(структура)

Указывает источник данных Apache Hudi.

Пути -> (список)

Массив строк местоположения Amazon S3 для Hudi, каждый из которых указывает корневую папку, в которой находятся файлы метаданных таблицы Hudi. Папка Hudi может находиться в папке-потомке корневой папки.

Ползунок будет просматривать все папки под путем для поиска папки Hudi.

(строка)

Имя подключения -> (строка)

Имя подключения для подключения к цели Hudi. Если ваши файлы Hudi хранятся в бакетах, требующих авторизации VPC, вы можете задать их свойства подключения здесь.

Исключения -> (список)

Список шаблонов glob для исключения из сканирования. Дополнительную информацию см. в разделе Таблицы каталога с ползунком.

(строка)

Максимальная глубина обхода -> (целое число)

Максимальная глубина путей Amazon S3, которые ползунок может пройти, чтобы обнаружить папку метаданных Hudi в вашем пути Amazon S3. Используется для ограничения времени выполнения ползунка.

Имя базы данных -> (строка)

Имя базы данных, в которой хранится вывод ползунка.

Описание -> (строка)

Описание ползунка.

Классификаторы -> (список)

Список строк UTF-8, указывающих пользовательские классификаторы, связанные с ползунком.

(строка)

RecrawlPolicy -> (структура)

Политика, которая указывает, нужно ли сканировать весь набор данных снова или только папки, добавленные после последнего запуска ползунка.

RecrawlBehavior -> (строка)

Указывает, нужно ли сканировать весь набор данных снова или только папки, добавленные после последнего запуска ползунка.

Значение CRAWL_EVERYTHING указывает на сканирование всего набора данных снова.

Значение CRAWL_NEW_FOLDERS_ONLY указывает на сканирование только папок, добавленных после последнего запуска ползунка.

Значение CRAWL_EVENT_MODE указывает на сканирование только изменений, определённых событиями Amazon S3.

SchemaChangePolicy -> (структура)

Политика, которая указывает поведение при обновлении и удалении для ползунка.

UpdateBehavior -> (строка)

Поведение при обновлении, когда ползунок находит изменённую схему.

DeleteBehavior -> (строка)

Поведение при удалении, когда ползунок находит удалённый объект.

LineageConfiguration -> (структура)

Настройка, которая указывает, включена ли функция отслеживания данных для ползунка.

CrawlerLineageSettings -> (строка)

Указывает, включена ли функция отслеживания данных для ползунка. Допустимые значения:

  • ENABLE: включает отслеживание данных для ползунка
  • DISABLE: отключает отслеживание данных для ползунка

Состояние -> (строка)

Указывает, работает ли ползунок или ожидается запуск.

TablePrefix -> (строка)

Префикс, добавляемый к именам созданных таблиц.

Расписание -> (структура)

Для запланированных ползунков, расписание запуска ползунка.

ScheduleExpression -> (строка)

cron выражение, используемое для указания расписания (см. Расписания по времени для задач и ползунков. Например, для запуска ежедневно в 12:15 по UTC, вы бы указали: cron(15 12 * * ? *).

Состояние -> (строка)

Состояние расписания.

CrawlElapsedTime -> (целое число большого размера)

Если ползунок работает, содержит общее время, прошедшее с момента начала последнего сканирования.

CreationTime -> (метка времени)

Время создания ползунка.

LastUpdated -> (метка времени)

Время последнего обновления ползунка.

LastCrawl -> (структура)

Статус последнего сканирования и потенциальная информация об ошибке, если она произошла.

Status -> (строка)

Статус последнего сканирования.

ErrorMessage -> (строка)

Если произошла ошибка, информация об ошибке последнего сканирования.

LogGroup -> (строка)

Группа журналов для последнего сканирования.

LogStream -> (строка)

Поток журналов для последнего сканирования.

MessagePrefix -> (строка)

Префикс для сообщения об этом сканировании.

StartTime -> (метка времени)

Время начала сканирования.

Version -> (целое число)

Версия сканера.

Configuration -> (строка)

Информация о конфигурации сканера. Эта версия строка JSON позволяет пользователям указать аспекты поведения сканера. Дополнительную информацию см. в разделе Настройка параметров конфигурации сканера.

CrawlerSecurityConfiguration -> (строка)

Имя структуры SecurityConfiguration, которая должна использоваться этим сканером.

LakeFormationConfiguration -> (структура)

Указывает, должен ли сканер использовать учетные данные Lake Formation для сканера вместо учетных данных роли IAM.

UseLakeFormationCredentials -> (булево)

Указывает, использовать ли учетные данные Lake Formation для сканера вместо учетных данных роли IAM.

AccountId -> (строка)

Требуется для межсчётных сканирований. Для сканирований в одном и том же счёте, как и целевые данные, это поле можно оставить пустым.

CrawlersNotFound -> (список)

Список имён сканеров, которые не были найдены.

(строка)

© Copyright 2025, Amazon Web Services. Created using Sphinx.

END_OF_DOCUMENT_MARKER

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API