aws_glue_job – Управление заданием AWS Glue

Новое в версии 2.6.

Обзор
Требования
Параметры
Примечания
Примеры
Значения возврата
Статус

Обзор

Управление заданием AWS Glue. Подробную информацию см. на странице https://aws.amazon.com/glue/.

Требования

Ниже перечислены требования к хосту, на котором выполняется этот модуль.

boto
boto3
python >= 2.6

Параметры

Параметр	Варианты/Значения по умолчанию	Комментарии
allocated_capacity -		Количество единиц обработки данных AWS Glue (DPUs), которые необходимо выделить для данной задачи. Можно выделить от 2 до 100 DPU; значение по умолчанию — 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) и 16 ГБ памяти.
aws_access_key -		Ключ доступа AWS. Если не задан, используется значение переменной среды AWS_ACCESS_KEY_ID, AWS_ACCESS_KEY или EC2_ACCESS_KEY. Псевдонимы: ec2_access_key, access_key
aws_secret_key -		Секретный ключ AWS. Если не задан, используется значение переменной среды AWS_SECRET_ACCESS_KEY, AWS_SECRET_KEY или EC2_SECRET_KEY. Псевдонимы: ec2_secret_key, secret_key
command_name -	По умолчанию: "glueetl"	Имя команды для задания. Должно быть 'glueetl'.
command_script_location - / обязательно		Путь в S3 к скрипту, который выполняет задание.
connections -		Список соединений Glue, используемых для этой задачи.
default_arguments -		Словарь аргументов по умолчанию для данной задачи. Вы можете указать здесь аргументы, которые использует ваш собственный скрипт выполнения задачи, а также аргументы, которые использует сам AWS Glue.
description -		Описание задаваемого задания.
ec2_url -		URL для подключения к EC2 или вашему облаку Eucalyptus (по умолчанию модуль использует конечные точки EC2). Игнорируется для модулей, где требуется регион. Должен быть указан для всех остальных модулей, если регион не используется. Если не задан, используется значение переменной среды EC2_URL, если таковое имеется.
max_concurrent_runs -		Максимальное количество одновременных запусков задания. Значение по умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитами сервиса.
max_retries -		Максимальное количество попыток повторного выполнения задания в случае его сбоя.
name - / обязательно		Имя, которое вы присваиваете определению этой задачи. Оно должно быть уникальным в вашей учетной записи.
profile - добавлено в 1.6		Использует профиль boto. Работает только с boto >= 2.24.0.
region -		AWS регион для использования. Если не указан, используется значение переменной среды AWS_REGION или EC2_REGION, если таковая имеется. См. http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region Псевдонимы: aws_region, ec2_region
role - / обязательно		Имя или ARN роли IAM, связанной с этой задачей.
security_token - добавлено в 1.6		Токен безопасности AWS STS. Если не задан, используется значение переменной среды AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN. Псевдонимы: access_token
state - / обязательно	Варианты: present absent	Создать или удалить задание AWS Glue.
timeout -		Таймаут задания в минутах.
validate_certs boolean добавлено в 1.5	Варианты: no да ←	Если установлено значение "нет", сертификаты SSL не будут проверены для версий boto >= 2.6.0.

Примечания

Примечание

Если параметры не заданы в модуле, можно использовать следующие переменные среды в порядке убывания приоритета AWS_URL или EC2_URL, AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY или EC2_ACCESS_KEY, AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY или EC2_SECRET_KEY, AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN, AWS_REGION или EC2_REGION
Ansible использует конфигурационный файл boto (обычно ~/.boto), если учетные данные не предоставлены. См. https://boto.readthedocs.io/en/latest/boto_config_tut.html
AWS_REGION или EC2_REGION обычно используются для указания AWS региона, когда это необходимо, но это также можно настроить в конфигурационном файле boto

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue job
- aws_glue_job:
    command_script_location: s3bucket/script.py
    name: my-glue-job
    role: my-iam-role
    state: present

# Delete an AWS Glue job
- aws_glue_job:
    name: my-glue-job
    state: absent

Значения возврата

Общие значения возврата документированы здесь, следующие поля уникальны для этого модуля:

Ключ		Возвращаемое значение	Описание
allocated_capacity целое число		при наличии состояния	Количество выделенных единиц обработки данных AWS Glue (DPU) для запусков этой задачи. Может быть выделено от 2 до 100 DPU; по умолчанию — 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессорных ядер (vCPU) вычислительной мощности и 16 ГБ памяти. Пример: 10
command сложное		при наличии состояния	Команда JobCommand, выполняющая эту задачу.
	name строка	при наличии состояния	Имя команды задачи. Пример: glueetl
	script_location строка	при наличии состояния	Указывает путь S3 к скрипту, который выполняет задачу. Пример: mybucket/myscript.py
connections словарь		при наличии состояния	Подключения, используемые для этой задачи. Пример: { Connections: [ 'список', 'подключений' ] }
created_on строка		при наличии состояния	Дата и время создания этого определения задачи. Пример: 2018-04-21T05:19:58.326000+00:00
default_arguments словарь		при наличии состояния	Значения аргументов по умолчанию для этой задачи, заданные в виде пар имя-значение. Пример: { 'mykey1': 'myvalue1' }
description строка		при наличии состояния	Описание определяемой задачи. Пример: Моя первая задача Glue
execution_property сложное		всегда	Свойство ExecutionProperty, указывающее максимальное количество одновременных запусков, разрешенных для этой задачи.
	max_concurrent_runs целое число	при наличии состояния	Максимальное количество одновременных запусков, разрешенных для задачи. По умолчанию 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитом службы. Пример: 1
job_name строка		всегда	Имя задачи AWS Glue. Пример: my-glue-job
last_modified_on строка		при наличии состояния	Последняя точка времени, когда это определение задачи было изменено. Пример: 2018-04-21T05:19:58.326000+00:00
max_retries целое число		при наличии состояния	Максимальное количество попыток повторной обработки этой задачи после того, как JobRun завершился с ошибкой. Пример: 5
name строка		при наличии состояния	Имя, присвоенное этому определению задачи. Пример: my-glue-job
role строка		при наличии состояния	Имя или ARN роли IAM, связанной с этой задачей. Пример: my-iam-role
timeout целое число		при наличии состояния	Таймаут задачи в минутах. Пример: 300

Статус

Данный модуль не гарантирует обратную совместимость интерфейса. [превью]
Этот модуль поддерживается сообществом Ansible. [community]

Авторы

Rob White (@wimnat)

Подсказка

Если вы обнаружите какие-либо проблемы в этом документе, вы можете отредактировать этот документ, чтобы улучшить его.

© 2012–2018 Michael DeHaan
© 2018–2019 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.7/modules/aws_glue_job_module.html