community.aws.aws_glue_job – Управление задачей AWS Glue

Примечание

Этот плагин входит в коллекцию community.aws (версия 1.3.0).

Для его установки используйте: ansible-galaxy collection install community.aws

Для использования в книге задач укажите: community.aws.aws_glue_job

Новое в версии 1.0.0: модуля community.aws

Обзор
Требования
Параметры
Примечания
Примеры
Возвращаемые значения

Обзор

Управление задачей AWS Glue. Подробнее см. https://aws.amazon.com/glue/.

Требования

Ниже перечислены требования к хосту, на котором будет выполняться этот модуль.

boto
boto3
python >= 2.6

Параметры

Параметр	Варианты/Значения по умолчанию	Комментарии
allocated_capacity целое число		Количество единиц обработки данных AWS Glue (DPU), выделяемых для этой задачи. Можно выделить от 2 до 100 DPU; по умолчанию 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) и 16 ГБ памяти.
aws_access_key строка		Ключ доступа AWS. Если не задан, используется значение переменной среды AWS_ACCESS_KEY_ID, AWS_ACCESS_KEY или EC2_ACCESS_KEY. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров aws_access_key и profile устарело и после 2022-06-01 будет невозможно. псевдонимы: ec2_access_key, access_key
aws_ca_bundle путь		Расположение файла сертификата CA для проверки SSL-сертификатов. Используется только для модулей, основанных на boto3. Примечание: Файл CA Bundle считывается со стороны модуля и, возможно, должен быть явно скопирован с контроллера, если он не выполняется локально.
aws_config словарь		Словарь для модификации конфигурации botocore. Параметры можно найти на https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config. Для модулей boto используется только ключ 'user_agent'. См. http://boto.cloudhackers.com/en/latest/boto_config_tut.html#boto для получения дополнительной информации о конфигурации boto.
aws_secret_key строка		Секретный ключ AWS. Если не задан, используется значение переменной среды AWS_SECRET_ACCESS_KEY, AWS_SECRET_KEY или EC2_SECRET_KEY. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров aws_secret_key и profile устарело и после 2022-06-01 будет невозможно. псевдонимы: ec2_secret_key, secret_key
command_name строка	По умолчанию: "glueetl"	Имя команды для задачи. Должно быть 'glueetl'.
command_script_location строка		Путь в S3 к скрипту, который выполняет задачу. Требуется, когда state=present.
connections список / элементы=строка		Список подключений Glue, используемых для этой задачи.
debug_botocore_endpoint_logs булево	Варианты: нет ← да	Используйте logger botocore.endpoint для анализа уникальных (а не общих) API-вызовов «ресурс:действие», выполняемых во время задачи, выводив их в ключ resource_actions в результатах задачи. Используйте callback aws_resource_action для вывода в полный список, созданный во время книги задач. Переменная среды ANSIBLE_DEBUG_BOTOCORE_LOGS также может быть использована.
default_arguments словарь		Словарь значений аргументов по умолчанию для этой задачи. Вы можете указать здесь аргументы, которые потребляет собственный скрипт выполнения задачи, а также аргументы, которые потребляет сам AWS Glue.
description строка		Описание определяемой задачи.
ec2_url строка		URL для подключения к EC2 или вашей облачной платформе Eucalyptus (по умолчанию модуль использует конечные точки EC2). Игнорируется модулями, где требуется регион. Должен быть указан для всех остальных модулей, если регион не используется. Если не указан, используется значение переменной среды EC2_URL, если она есть. псевдонимы: aws_endpoint_url, endpoint_url
max_concurrent_runs целое число		Максимальное количество одновременных запусков задачи. По умолчанию 1. Возвращается ошибка, когда достигается этот порог. Максимальное значение, которое вы можете указать, ограничено лимитом сервиса.
max_retries целое число		Максимальное количество попыток повторного выполнения этой задачи в случае сбоя.
name строка / обязательно		Имя, которое вы назначаете этому определению задачи. Оно должно быть уникальным в вашем аккаунте.
profile строка		Использует профиль boto. Работает только с boto >= 2.24.0. Использование profile переопределяет aws_access_key, aws_secret_key и security_token, а поддержка их одновременного указания с profile устарела. aws_access_key, aws_secret_key и security_token будут взаимно исключаться с profile после 2022-06-01. псевдонимы: aws_profile
region строка		AWS-регион для использования. Если не указан, используется значение переменной среды AWS_REGION или EC2_REGION, если она есть. См. http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region псевдонимы: aws_region, ec2_region
role строка		Имя или ARN роли IAM, связанной с этой задачей. Требуется, когда state=present.
security_token строка		AWS STS security token. Если не задан, используется значение переменной среды AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров security_token и profile устарело и после 2022-06-01 будет невозможно. псевдонимы: aws_security_token, access_token
state строка / обязательно	Варианты: present absent	Создание или удаление задачи AWS Glue.
timeout целое число		Таймаут задачи в минутах.
validate_certs булево	Варианты: нет да ←	При значении "нет" SSL-сертификаты не будут проверены для версий boto >= 2.6.0.

Примечания

Примечание

Если параметры не установлены в модуле, можно использовать следующие переменные среды в порядке убывания приоритета AWS_URL или EC2_URL, AWS_PROFILE или AWS_DEFAULT_PROFILE, AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY или EC2_ACCESS_KEY, AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY или EC2_SECRET_KEY, AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN, AWS_REGION или EC2_REGION, AWS_CA_BUNDLE
Ansible использует конфигурационный файл boto (обычно ~/.boto), если учетные данные не предоставлены. См. https://boto.readthedocs.io/en/latest/boto_config_tut.html
AWS_REGION или EC2_REGION обычно используются для указания AWS-региона, когда это необходимо, но это также можно настроить в конфигурационном файле boto

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue job
- community.aws.aws_glue_job:
    command_script_location: s3bucket/script.py
    name: my-glue-job
    role: my-iam-role
    state: present

# Delete an AWS Glue job
- community.aws.aws_glue_job:
    name: my-glue-job
    state: absent

Возвращаемые значения

Общие возвращаемые значения описаны здесь, следующие поля уникальны для этого модуля:

Ключ		Возвращаемое значение	Описание
allocated_capacity целое число		при наличии состояния	Количество выделенных единиц обработки данных AWS Glue (DPU) для выполнения задач этого задания. Можно выделить от 2 до 100 DPU; по умолчанию используется 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессорных ядер (vCPU) вычислительной мощности и 16 ГБ памяти. Пример: 10
command сложный		при наличии состояния	Команда JobCommand, выполняющая данную задачу.
	name строка	при наличии состояния	Имя команды задания. Пример: glueetl
	script_location строка	при наличии состояния	Указывает путь S3 к скрипту, выполняющему задание. Пример: mybucket/myscript.py
connections словарь		при наличии состояния	Подключения, используемые для этой задачи. Пример: { Connections: [ 'список', 'подключений' ] }
created_on строка		при наличии состояния	Время и дата создания этого определения задания. Пример: 2018-04-21T05:19:58.326000+00:00
default_arguments словарь		при наличии состояния	Значения аргументов по умолчанию для этой задачи, заданные в виде пар «имя-значение». Пример: { 'mykey1': 'myvalue1' }
description строка		при наличии состояния	Описание определяемой задачи. Пример: Моя первая задача Glue
execution_property сложный		всегда	Свойство ExecutionProperty, указывающее максимальное количество одновременных запусков, разрешенных для этой задачи.
	max_concurrent_runs целое число	при наличии состояния	Максимальное количество одновременных запусков задачи. По умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитом сервиса. Пример: 1
job_name строка		всегда	Имя задачи AWS Glue. Пример: my-glue-job
last_modified_on строка		при наличии состояния	Последний момент времени, когда это определение задания было изменено. Пример: 2018-04-21T05:19:58.326000+00:00
max_retries целое число		при наличии состояния	Максимальное количество попыток повторить выполнение этой задачи после сбоя JobRun. Пример: 5
name строка		при наличии состояния	Имя, присвоенное этому определению задачи. Пример: my-glue-job
role строка		при наличии состояния	Имя или ARN роли IAM, связанной с этой задачей. Пример: my-iam-role
timeout целое число		при наличии состояния	Таймаут задачи в минутах. Пример: 300

Авторы

Rob White (@wimnat)

© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.10/collections/community/aws/aws_glue_job_module.html