Spec-Zone.ru › Ansible

Модуль community.aws.glue_crawler — управление сканером AWS Glue

Примечание

Этот модуль входит в коллекцию community.aws (версия 10.1.0).

Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не входит в ansible-core. Чтобы проверить, установлена ли она, выполните ansible-galaxy collection list.

Для установки используйте: ansible-galaxy collection install community.aws. Для использования этого модуля необходимы дополнительные требования; подробности см. в разделе Требования.

Чтобы использовать его в плейбуке, укажите: community.aws.glue_crawler.

Добавлено в community.aws 4.1.0

  • Краткое описание
  • Требования
  • Параметры
  • Примечания
  • Примеры
  • Возвращаемые значения

Краткое описание

  • Управление сканером AWS Glue. Подробности см. на странице https://aws.amazon.com/glue/.
  • До выпуска версии 5.0.0 этот модуль назывался community.aws.aws_glue_crawler. Использование не изменилось.

Псевдонимы: aws_glue_crawler

Требования

На хосте, где выполняется этот модуль, необходимы следующие компоненты.

  • python >= 3.6
  • boto3 >= 1.34.0
  • botocore >= 1.34.0

Параметры

Параметр

Комментарии

access_key

псевдонимы: aws_access_key_id, aws_access_key

string

Идентификатор ключа доступа AWS.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменные среды AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY в порядке убывания приоритета.

Параметры aws_access_key и profile являются взаимоисключающими.

Псевдоним aws_access_key_id добавлен в выпуске 5.1.0 для соответствия SDK AWS botocore.

aws_ca_bundle

path

Путь к пакету центров сертификации, используемому для проверки SSL-сертификатов.

Также можно использовать переменную среды AWS_CA_BUNDLE.

aws_config

dictionary

Словарь для изменения конфигурации botocore.

Описание параметров см. в документации AWS: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.

database_name

string

Имя базы данных, в которую записываются результаты.

debug_botocore_endpoint_logs

boolean

Использовать регистратор botocore.endpoint для анализа уникальных (а не общего количества) вызовов API "resource:action", выполненных во время задачи, и выводить их список в ключ resource_actions результатов задачи. Используйте callback aws_resource_action, чтобы вывести общий список вызовов, выполненных в рамках плейбука.

Также можно использовать переменную среды ANSIBLE_DEBUG_BOTOCORE_LOGS.

Варианты:

  • false ← (по умолчанию)
  • true

description

string

Описание создаваемого сканера.

endpoint_url

псевдонимы: aws_endpoint_url

string

URL для подключения вместо конечных точек AWS по умолчанию. Этот параметр можно использовать для подключения к другим сервисам, совместимым с AWS, однако коллекции amazon.aws и community.aws тестируются только с AWS.

Также можно использовать переменную среды AWS_URL.

name

string / обязательный

Имя, присваиваемое этому определению сканера. Оно должно быть уникальным в вашей учетной записи.

profile

псевдонимы: aws_profile

string

Именованный профиль AWS для аутентификации.

Дополнительные сведения об именованных профилях см. в документации AWS: https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html.

Также можно использовать переменную среды AWS_PROFILE.

Параметр profile является взаимоисключающим с параметрами aws_access_key, aws_secret_key и session_token.

purge_tags

boolean

Если задано значение purge_tags=true и указан параметр tags, существующие теги ресурса будут удалены, чтобы они точно соответствовали определенным параметром tags.

Если параметр tags не задан, теги не будут изменены, даже если purge_tags=True.

Ключи тегов, начинающиеся с aws:, зарезервированы Amazon и не могут быть изменены. Поэтому они игнорируются при обработке параметра purge_tags. Дополнительные сведения см. в документации Amazon: https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions.

Варианты:

  • false
  • true ← (по умолчанию)

recrawl_policy

dictionary

Политика, определяющая, следует ли повторно сканировать весь набор данных или сканировать только папки, добавленные после последнего запуска сканера.

recrawl_behavior

string

Указывает, следует ли повторно сканировать весь набор данных или сканировать только папки, добавленные после последнего запуска сканера.

Поддерживаются варианты CRAWL_EVERYTHING и CRAWL_NEW_FOLDERS_ONLY.

region

псевдонимы: aws_region

string

Регион AWS.

Для глобальных сервисов, таких как IAM, Route53 и CloudFront, параметр region игнорируется.

Также можно использовать переменную среды AWS_REGION.

Дополнительные сведения см. в документации Amazon AWS: http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region.

role

string

Имя или ARN роли IAM, связанной с этим сканером.

Обязателен, если state=present.

schema_change_policy

dictionary

Политика обновления и удаления для сканера.

delete_behavior

string

Определяет поведение при удалении, когда сканер обнаруживает удаленный объект.

Поддерживаются варианты LOG, DELETE_FROM_DATABASE и DEPRECATE_IN_DATABASE.

update_behavior

string

Определяет поведение при обновлении, когда сканер обнаруживает измененную схему.

Поддерживаются варианты LOG и UPDATE_IN_DATABASE.

secret_key

псевдонимы: aws_secret_access_key, aws_secret_key

string

Секретный ключ доступа AWS.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменные среды AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY в порядке убывания приоритета.

Параметры secret_key и profile являются взаимоисключающими.

Псевдоним aws_secret_access_key добавлен в выпуске 5.1.0 для соответствия SDK AWS botocore.

session_token

псевдонимы: aws_session_token

string

Токен сеанса AWS STS для использования с временными учетными данными.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменную среды AWS_SESSION_TOKEN.

Параметры session_token и profile являются взаимоисключающими.

state

string / обязательный

Создать или удалить сканер AWS Glue.

Варианты:

  • "present"
  • "absent"

table_prefix

string

Префикс таблиц для создаваемых таблиц каталога.

tags

псевдонимы: resource_tags

dictionary

Словарь тегов, применяемых к ресурсу.

Если параметр tags не задан, теги не будут изменены.

targets

dictionary

Список целей сканирования. См. пример ниже.

Обязателен, если state=present.

validate_certs

boolean

Если задано значение false, SSL-сертификаты для связи с API AWS проверяться не будут.

Настоятельно не рекомендуется задавать validate_certs=false; вместо этого рассмотрите возможность использования aws_ca_bundle.

Варианты:

  • false
  • true ← (по умолчанию)

Примечания

Примечание

  • Внимание: Для модулей переменные среды и файлы конфигурации считываются из контекста «хоста» Ansible, а не из контекста «контроллера». Поэтому файлы может потребоваться явно скопировать на «хост». Для плагинов поиска и подключения переменные среды и файлы конфигурации считываются из контекста «контроллера» Ansible, а не из контекста «хоста».
  • Используемый Ansible пакет AWS SDK (boto3) также может считывать значения учетных данных и другие параметры по умолчанию, например регион, из файлов конфигурации в контексте «хоста» Ansible (обычно ~/.aws/credentials). Дополнительные сведения см. на странице https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html.

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue crawler
- community.aws.glue_crawler:
    name: my-glue-crawler
    database_name: my_database
    role: my-iam-role
    schema_change_policy:
      delete_behavior: DELETE_FROM_DATABASE
      update_behavior: UPDATE_IN_DATABASE
    recrawl_policy:
      recrawl_ehavior: CRAWL_EVERYTHING
    targets:
      S3Targets:
        - Path: "s3://my-bucket/prefix/folder/"
          ConnectionName: my-connection
          Exclusions:
            - "**.json"
            - "**.yml"
    state: present

# Delete an AWS Glue crawler
- community.aws.glue_crawler:
    name: my-glue-crawler
    state: absent

Возвращаемые значения

Общие возвращаемые значения описаны здесь, ниже приведены поля, уникальные для этого модуля:

Ключ

Описание

creation_time

string

Время и дата создания определения этого сканера.

Возвращается: если состояние — present

Пример: "2021-04-01T05:19:58.326000+00:00"

database_name

string

Имя базы данных, в которую записываются результаты.

Возвращается: если состояние — present

Пример: "my_table"

description

string

Описание сканера.

Возвращается: если состояние — present

Пример: "My crawler"

last_updated

string

Время и дата последнего обновления определения этого сканера.

Возвращается: если состояние — present

Пример: "2021-04-01T05:19:58.326000+00:00"

name

string

Имя сканера AWS Glue.

Возвращается: всегда

Пример: "my-glue-crawler"

recrawl_policy

complex

Политика, определяющая, следует ли повторно сканировать весь набор данных или сканировать только папки, добавленные после последнего запуска сканера.

Возвращается: если состояние — present

RecrawlBehavior

string

Определяет, следует ли повторно сканировать весь набор данных или сканировать только папки, добавленные после последнего запуска сканера.

Возвращается: если состояние — present

Пример: "CRAWL_EVERYTHING"

role

string

Имя или ARN роли IAM, связанной с этим сканером.

Возвращается: если состояние — present

Пример: "my-iam-role"

schema_change_policy

complex

Политика обновления и удаления данных сканером.

Возвращается: если состояние — present

DeleteBehavior

string

Поведение при удалении, если сканер обнаруживает удаленный объект.

Возвращается: если состояние — present

Пример: "DELETE_FROM_DATABASE"

UpdateBehavior

string

Поведение при обновлении, если сканер обнаруживает измененную схему.

Возвращается: если состояние — present

Пример: "UPDATE_IN_DATABASE"

table_prefix

string

Префикс таблиц каталога, которые создаются.

Возвращается: если состояние — present

Пример: "my_prefix"

targets

complex

Список целей для сканирования.

Возвращается: если состояние — present

CatalogTargets

list / elements=string

Список целей каталога.

Возвращается: если состояние — present

DynamoDBTargets

list / elements=string

Список целей DynamoDB.

Возвращается: если состояние — present

JdbcTargets

list / elements=string

Список целей JDBC.

Возвращается: если состояние — present

MongoDBTargets

list / elements=string

Список целей MongoDB.

Возвращается: если состояние — present

S3Targets

list / elements=string

Список целей S3.

Возвращается: если состояние — present

Авторы

  • Ivan Chekaldin (@ichekaldin)

Ссылки на коллекцию

  • Отслеживание проблем
  • Репозиторий (исходный код)
  • Связь

© 2012–2018 Michael DeHaan
© 2018–2025 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/projects/ansible/latest/collections/community/aws/glue_crawler_module.html

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API