Модуль community.aws.glue_crawler – Управление AWS Glue Crawler

Примечание

Этот модуль является частью коллекции community.aws (версия 8.0.0).

Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не включена в ansible-core. Чтобы проверить установку, выполните ansible-galaxy collection list.

Для установки используйте: ansible-galaxy collection install community.aws. Для использования этого модуля необходимы дополнительные требования, подробности см. в разделе Требования.

Чтобы использовать его в книге задач, укажите: community.aws.glue_crawler.

Новая функция в community.aws 4.1.0

Описание
Требования
Параметры
Примечания
Примеры
Возвращаемые значения

Описание

Управление AWS Glue crawler. Подробности см. на https://aws.amazon.com/glue/.
До версии 5.0.0 этот модуль назывался community.aws.aws_glue_crawler. Использование не изменилось.

Псевдонимы: aws_glue_crawler

Требования

Ниже приведены требования к хосту, на котором выполняется этот модуль.

python >= 3.6
boto3 >= 1.26.0
botocore >= 1.29.0

END_OF_DOCUMENT_MARKER

Параметры

Параметр	Комментарии
access_key псевдонимы: aws_access_key_id, aws_access_key, ec2_access_key строка	Идентификатор ключа доступа AWS. См. документацию AWS для получения дополнительной информации об маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также могут использоваться переменные среды `AWS_ACCESS_KEY_ID`, `AWS_ACCESS_KEY` или `EC2_ACCESS_KEY` в порядке убывания приоритета. Параметры aws_access_key и profile взаимоисключающие. Псевдоним aws_access_key_id был добавлен в релизе 5.1.0 для обеспечения согласованности с SDK AWS botocore. Псевдоним ec2_access_key устарел и будет удален в релизе после 2024-12-01. Поддержка переменной среды `EC2_ACCESS_KEY` устарела и будет удалена в релизе после 2024-12-01.
aws_ca_bundle путь	Расположение набора сертификатов CA для проверки SSL-сертификатов. Также может использоваться переменная среды `AWS_CA_BUNDLE`.
aws_config словарь	Словарь для изменения конфигурации botocore. Параметры можно найти в документации AWS https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.
database_name строка	Имя базы данных, в которую записываются результаты.
debug_botocore_endpoint_logs логический тип	Использовать `botocore.endpoint` логгер для анализа уникальных (а не общих) `"resource:action"` API-вызовов, сделанных во время задачи, выводив набор в ключ resource_actions результатов задачи. Используйте `aws_resource_action` обратный вызов для вывода в общий список, сделанный во время выполнения playbook. Также может использоваться переменная среды `ANSIBLE_DEBUG_BOTOCORE_LOGS`. Варианты: `false` ← (по умолчанию) `true`
description строка	Описание создаваемого ползунка.
endpoint_url псевдонимы: ec2_url, aws_endpoint_url, s3_url строка	URL для подключения вместо стандартных конечных точек AWS. Хотя это можно использовать для подключения к другим совместимым с AWS службам, коллекции amazon.aws и community.aws протестированы только для AWS. Также могут использоваться переменные среды `AWS_URL` или `EC2_URL` в порядке убывания приоритета. Псевдонимы ec2_url и s3_url устарели и будут удалены в релизе после 2024-12-01. Поддержка переменной среды `EC2_URL` устарела и будет удалена в релизе после 2024-12-01.
name строка / обязательный	Имя, которое вы назначаете этому ползунку. Оно должно быть уникальным в вашей учетной записи.
profile псевдонимы: aws_profile строка	Используемый именованный профиль AWS для аутентификации. См. документацию AWS для получения дополнительной информации об именованных профилях https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html. Также может использоваться переменная среды `AWS_PROFILE`. Параметр profile взаимоисключающий с параметрами aws_access_key, aws_secret_key и security_token.
purge_tags логический тип	Если purge_tags=true и tags установлено, существующие теги будут очищены, чтобы точно соответствовать тому, что определено параметром tags. Если параметр tags не задан, теги не будут изменены, даже если purge_tags=True. Ключи тегов, начинающиеся с `aws:`, зарезервированы Amazon и не могут быть изменены. Таким образом, они будут проигнорированы для параметра purge_tags. См. документацию Amazon для получения дополнительной информации https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions. Варианты: `false` `true` ← (по умолчанию)
recrawl_policy словарь	Политика, которая определяет, нужно ли переползать весь набор данных заново или только те папки, которые были добавлены с момента последнего запуска ползунка.
recrawl_behavior строка	Определяет, нужно ли повторно переползать весь набор данных или только папки, добавленные с момента последнего запуска ползунка. Поддерживаемые варианты — `CRAWL_EVERYTHING` и `CRAWL_NEW_FOLDERS_ONLY`.
region псевдонимы: aws_region, ec2_region строка	Регион AWS для использования. Для глобальных служб, таких как IAM, Route53 и CloudFront, region игнорируется. Также могут использоваться переменные среды `AWS_REGION` или `EC2_REGION`. См. документацию Amazon AWS для получения дополнительной информации http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region. Псевдоним `ec2_region` устарел и будет удален в релизе после 2024-12-01. Поддержка переменной среды `EC2_REGION` устарела и будет удалена в релизе после 2024-12-01.
role строка	Имя или ARN роли IAM, связанной с этим ползунком. Требуется, когда state=present.

schema_change_policy словарь	Политика обновления и удаления ползунка.
delete_behavior строка	Определяет поведение при удалении объекта, обнаруженного ползунком. Поддерживаемые варианты — `LOG`, `DELETE_FROM_DATABASE`, и `DEPRECATE_IN_DATABASE`.
update_behavior строка	Определяет поведение при обновлении схемы, обнаруженной ползунком. Поддерживаемые варианты — `LOG` и `UPDATE_IN_DATABASE`.
secret_key псевдонимы: aws_secret_access_key, aws_secret_key, ec2_secret_key строка	Секретный ключ доступа AWS. Дополнительную информацию о маркерах доступа см. в документации AWS https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. В порядке убывания приоритета также могут быть использованы переменные среды `AWS_SECRET_ACCESS_KEY`, `AWS_SECRET_KEY`, или `EC2_SECRET_KEY`. Параметры secret_key и profile взаимоисключающие. Псевдоним aws_secret_access_key был добавлен в релизе 5.1.0 для согласованности с SDK botocore AWS. Псевдоним ec2_secret_key устарел и будет удален в релизе после 2024-12-01. Поддержка переменной среды `EC2_SECRET_KEY` устарела и будет удалена в релизе после 2024-12-01.
session_token псевдонимы: aws_session_token, security_token, aws_security_token, access_token строка	Маркер сессии AWS STS для использования с временными учетными данными. Дополнительную информацию о маркерах доступа см. в документации AWS https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. В порядке убывания приоритета также могут быть использованы переменные среды `AWS_SESSION_TOKEN`, `AWS_SECURITY_TOKEN` или `EC2_SECURITY_TOKEN`. Параметры security_token и profile взаимоисключающие. Псевдонимы aws_session_token и session_token были добавлены в релизе 3.2.0, а параметр был переименован из security_token в session_token в релизе 6.0.0. Псевдонимы security_token, aws_security_token и access_token устарели и будут удалены в релизе после 2024-12-01. Поддержка переменных среды `EC2_SECRET_KEY` и `AWS_SECURITY_TOKEN` устарела и будет удалена в релизе после 2024-12-01.
state строка / обязательно	Создать или удалить ползунок AWS Glue. Варианты: `"present"` `"absent"`
table_prefix строка	Префикс таблицы, используемый для создаваемых каталожных таблиц.
tags псевдонимы: resource_tags словарь	Словарь, представляющий метки, которые нужно применить к ресурсу. Если параметр tags не задан, метки не будут изменены.
targets словарь	Список целевых объектов для ползунка. См. пример ниже. Требуется, когда state=present.
validate_certs булево	При значении `false`, сертификаты SSL для связи с API AWS не будут проверены. Установка validate_certs=false категорически не рекомендуется. В качестве альтернативы рассмотрите возможность установки aws_ca_bundle. Варианты: `false` `true` ← (по умолчанию)

Примечания

Примечание

Внимание: для модулей переменные окружения и конфигурационные файлы считываются из контекста Ansible «хост», а не «контроллер». Поэтому файлы могут потребоваться скопировать явно на «хост». Для плагинов поиска и подключения переменные окружения и конфигурационные файлы считываются из контекста Ansible «контроллер», а не «хост».
Используемый Ansible SDK AWS (boto3) также может считывать значения по умолчанию для учетных данных и других настроек, таких как регион, из своих конфигурационных файлов в контексте Ansible «хост» (обычно ~/.aws/credentials). Подробности см. в https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html.

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue crawler
- community.aws.glue_crawler:
    name: my-glue-crawler
    database_name: my_database
    role: my-iam-role
    schema_change_policy:
      delete_behavior: DELETE_FROM_DATABASE
      update_behavior: UPDATE_IN_DATABASE
    recrawl_policy:
      recrawl_ehavior: CRAWL_EVERYTHING
    targets:
      S3Targets:
        - Path: "s3://my-bucket/prefix/folder/"
          ConnectionName: my-connection
          Exclusions:
            - "**.json"
            - "**.yml"
    state: present

# Delete an AWS Glue crawler
- community.aws.glue_crawler:
    name: my-glue-crawler
    state: absent

Значения возврата

Общие значения возврата документированы здесь, следующие поля уникальны для этого модуля:

Ключ	Описание
creation_time строка	Время и дата создания этого определения обхода. Возвращается: при наличии состояния Пример: `"2021-04-01T05:19:58.326000+00:00"`
database_name строка	Имя базы данных, в которой записываются результаты. Возвращается: при наличии состояния Пример: `"my_table"`
description строка	Описание обхода. Возвращается: при наличии состояния Пример: `"My crawler"`
last_updated строка	Время и дата последнего обновления этого определения обхода. Возвращается: при наличии состояния Пример: `"2021-04-01T05:19:58.326000+00:00"`
name строка	Имя обхода AWS Glue. Возвращается: всегда Пример: `"my-glue-crawler"`
recrawl_policy сложное	Политика, которая определяет, нужно ли заново обходить весь набор данных или только папки, добавленные после последнего запуска обхода. Возвращается: при наличии состояния
RecrawlBehavior строка	Нужно ли заново обходить весь набор данных или только папки, добавленные после последнего запуска обхода. Возвращается: при наличии состояния Пример: `"CRAWL_EVERYTHING"`
role строка	Имя или ARN роли IAM, связанной с этим обходом. Возвращается: при наличии состояния Пример: `"my-iam-role"`
schema_change_policy сложное	Политика для поведения обновления и удаления обхода. Возвращается: при наличии состояния
DeleteBehavior строка	Поведение при удалении, когда обход находит удаленный объект. Возвращается: при наличии состояния Пример: `"DELETE_FROM_DATABASE"`
UpdateBehavior строка	Поведение при обновлении, когда обход находит изменённую схему. Возвращается: при наличии состояния Пример: `"UPDATE_IN_DATABASE"`
table_prefix строка	Префикс таблицы, используемый для создаваемых каталожных таблиц. Возвращается: при наличии состояния Пример: `"my_prefix"`
targets сложное	Список целевых объектов для обхода. Возвращается: при наличии состояния
CatalogTargets список / элементы=строка	Список целевых объектов каталога. Возвращается: при наличии состояния
DynamoDBTargets список / элементы=строка	Список целевых объектов DynamoDB. Возвращается: при наличии состояния
JdbcTargets список / элементы=строка	Список целевых объектов JDBC. Возвращается: при наличии состояния
MongoDBTargets список / элементы=строка	Список целевых объектов Mongo DB. Возвращается: при наличии состояния
S3Targets список / элементы=строка	Список целевых объектов S3. Возвращается: при наличии состояния

Авторы

Иван Чекалдин (@ichekaldin)

Ссылки на сборник

© 2012–2018 Michael DeHaan
© 2018–2024 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/latest/collections/community/aws/glue_crawler_module.html