aws_glue_job – Управление задачей AWS Glue

Новая версия 2.6.

Обзор
Требования
Параметры
Примечания
Примеры
Возвращаемые значения
Статус

Обзор

Управление задачей AWS Glue. Подробности см. на странице https://aws.amazon.com/glue/.

Требования

Ниже перечислены требования, необходимые на хосте, на котором выполняется этот модуль.

boto
boto3
python >= 2.6

Параметры

Параметр	Варианты/Значения по умолчанию	Комментарии
allocated_capacity -		Количество единиц обработки данных AWS Glue (DPUs), выделяемых для этой задачи. Можно выделить от 2 до 100 DPUs; значение по умолчанию — 10. DPU — относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ оперативной памяти.
aws_access_key строка		Ключ доступа AWS. Если не задан, используется значение переменной среды AWS_ACCESS_KEY_ID, AWS_ACCESS_KEY или EC2_ACCESS_KEY. Псевдонимы: ec2_access_key, access_key
aws_secret_key строка		Секретный ключ AWS. Если не задан, используется значение переменной среды AWS_SECRET_ACCESS_KEY, AWS_SECRET_KEY или EC2_SECRET_KEY. Псевдонимы: ec2_secret_key, secret_key
command_name -	По умолчанию: "glueetl"	Имя команды для задачи. Должно быть 'glueetl'.
command_script_location - / обязательно		Путь в S3 к скрипту, выполняющему задачу.
connections -		Список подключений Glue, используемых для этой задачи.
debug_botocore_endpoint_logs логический тип добавлено в 2.8	Варианты: нет ← да	Использование логирования botocore.endpoint для анализа уникальных (а не общих) API-вызовов «ресурс:действие», выполняемых во время задачи, выводом набора в ключ resource_actions в результатах задачи. Используйте обратный вызов aws_resource_action для вывода общего списка, созданного во время выполнения playbook. Также может использоваться переменная среды ANSIBLE_DEBUG_BOTOCORE_LOGS.
default_arguments -		Словарь аргументов по умолчанию для этой задачи. Вы можете указать здесь аргументы, которые использует ваш собственный скрипт выполнения задачи, а также аргументы, которые использует сам AWS Glue.
description -		Описание определяемой задачи.
ec2_url строка		URL для подключения к EC2 или вашему облаку Eucalyptus (по умолчанию модуль будет использовать конечные точки EC2). Игнорируется для модулей, для которых требуется регион. Должен быть указан для всех остальных модулей, если регион не используется. Если не задан, используется значение переменной среды EC2_URL, если она есть.
max_concurrent_runs -		Максимальное количество одновременных запусков задачи. Значение по умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитом сервиса.
max_retries -		Максимальное количество попыток повторного запуска этой задачи в случае ошибки.
name - / обязательно		Название, которое вы присваиваете этому определению задачи. Оно должно быть уникальным в вашем аккаунте.
profile строка		Использует профиль boto. Работает только с boto >= 2.24.0.
region строка		AWS-регион для использования. Если не указан, используется значение переменной среды AWS_REGION или EC2_REGION, если она есть. См. http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region Псевдонимы: aws_region, ec2_region
role - / обязательно		Имя или ARN роли IAM, связанной с этой задачей.
security_token строка		Токен безопасности AWS STS. Если не задан, используется значение переменной среды AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN. Псевдонимы: access_token
state - / обязательно	Варианты: present absent	Создание или удаление задачи AWS Glue.
timeout -		Таймаут задачи в минутах.
validate_certs логический тип	Варианты: нет да ←	Если установлено значение "нет", сертификаты SSL не будут проверены для версий boto >= 2.6.0.

Примечания

Примечание

Если параметры не заданы в модуле, могут использоваться следующие переменные среды в порядке убывания приоритета AWS_URL или EC2_URL, AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY или EC2_ACCESS_KEY, AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY или EC2_SECRET_KEY, AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN, AWS_REGION или EC2_REGION
Ansible использует конфигурационный файл boto (обычно ~/.boto), если учетные данные не предоставлены. См. https://boto.readthedocs.io/en/latest/boto_config_tut.html
AWS_REGION или EC2_REGION обычно используются для указания AWS-региона, когда это необходимо, но это также можно настроить в конфигурационном файле boto

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue job
- aws_glue_job:
    command_script_location: s3bucket/script.py
    name: my-glue-job
    role: my-iam-role
    state: present

# Delete an AWS Glue job
- aws_glue_job:
    name: my-glue-job
    state: absent

Возвращаемые значения

Общие возвращаемые значения документированы здесь, следующие поля уникальны для этого модуля:

Ключ		Возвращаемое значение	Описание
allocated_capacity целое число		при наличии состояния	Количество выделенных единиц обработки данных AWS Glue (DPU) для запусков этой задачи. Можно выделить от 2 до 100 DPU; по умолчанию 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессорных ядер (vCPU) вычислительной мощности и 16 ГБ памяти. Пример: 10
command сложное		при наличии состояния	Команда JobCommand, выполняющая эту задачу.
	name строка	при наличии состояния	Имя команды задания. Пример: glueetl
	script_location строка	при наличии состояния	Указывает путь S3 к скрипту, выполняющему задачу. Пример: mybucket/myscript.py
connections словарь		при наличии состояния	Подключения, используемые для этой задачи. Пример: { Connections: [ 'список', 'подключений' ] }
created_on строка		при наличии состояния	Время и дата создания этого определения задачи. Пример: 2018-04-21T05:19:58.326000+00:00
default_arguments словарь		при наличии состояния	Значения аргументов по умолчанию для этой задачи, заданные в виде пар имя-значение. Пример: { 'mykey1': 'myvalue1' }
description строка		при наличии состояния	Описание определенной задачи. Пример: Моя первая задача Glue
execution_property сложное		всегда	Свойство ExecutionProperty, определяющее максимальное количество одновременных запусков для этой задачи.
	max_concurrent_runs целое число	при наличии состояния	Максимальное количество одновременных запусков задачи. По умолчанию 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое вы можете указать, контролируется пределом службы. Пример: 1
job_name строка		всегда	Имя задачи AWS Glue. Пример: my-glue-job
last_modified_on строка		при наличии состояния	Последняя точка времени, когда это определение задачи было изменено. Пример: 2018-04-21T05:19:58.326000+00:00
max_retries целое число		при наличии состояния	Максимальное количество попыток повторной обработки задачи после того, как JobRun завершится с ошибкой. Пример: 5
name строка		при наличии состояния	Имя, назначенное этому определению задачи. Пример: my-glue-job
role строка		при наличии состояния	Имя или ARN роли IAM, связанной с этой задачей. Пример: my-iam-role
timeout целое число		при наличии состояния	Таймаут задачи в минутах. Пример: 300

Статус

Данный модуль не гарантирует обратной совместимости интерфейса. [превью]
Данный модуль поддерживается сообществом Ansible. [community]

Авторы

Rob White (@wimnat)

Подсказка

Если вы обнаружите какие-либо проблемы в этом руководстве, вы можете отредактировать этот документ, чтобы улучшить его.

© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.9/modules/aws_glue_job_module.html