community.aws.aws_glue_job – Управление задачей AWS Glue

Примечание

Этот плагин входит в коллекцию community.aws (версия 1.3.0).

Для его установки используйте: ansible-galaxy collection install community.aws.

Для использования в книге задач укажите: community.aws.aws_glue_job.

Новое в версии 1.0.0: из community.aws

Обзор
Требования
Параметры
Примечания
Примеры
Значения возврата

Обзор

Управление задачей AWS Glue. Подробности см. на https://aws.amazon.com/glue/.

Требования

Ниже приведены требования, необходимые на хосте, на котором выполняется этот модуль.

boto
boto3
python >= 2.6

Параметры

Параметр	Варианты/Значения по умолчанию	Комментарии
allocated_capacity целое число		Количество единиц обработки данных AWS Glue (DPU), которые необходимо выделить для этой задачи. Можно выделить от 2 до 100 DPU; значение по умолчанию — 10. DPU — относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти.
aws_access_key строка		Ключ доступа AWS. Если не задан, используется значение переменной окружения AWS_ACCESS_KEY_ID, AWS_ACCESS_KEY или EC2_ACCESS_KEY. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров aws_access_key и profile устарело и параметры будут взаимно исключать друг друга после 2022-06-01. псевдонимы: ec2_access_key, access_key
aws_ca_bundle путь		Расположение набора сертификатов CA для проверки SSL-сертификатов. Используется только для модулей на основе boto3. Примечание: набор сертификатов CA читается со стороны модуля и, возможно, его необходимо явно скопировать с контроллера, если он не запускается локально.
aws_config словарь		Словарь для изменения конфигурации botocore. Параметры можно найти по адресу https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config. Для модулей boto используется только ключ 'user_agent'. См. http://boto.cloudhackers.com/en/latest/boto_config_tut.html#boto для получения дополнительной информации о конфигурации boto.
aws_secret_key строка		Секретный ключ AWS. Если не задан, используется значение переменной окружения AWS_SECRET_ACCESS_KEY, AWS_SECRET_KEY или EC2_SECRET_KEY. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров aws_secret_key и profile устарело и параметры будут взаимно исключать друг друга после 2022-06-01. псевдонимы: ec2_secret_key, secret_key
command_name строка	По умолчанию: "glueetl"	Имя команды задачи. Должно быть 'glueetl'.
command_script_location строка		Путь S3 к скрипту, который выполняет задачу. Требуется, когда state=present.
connections список / элементы=строка		Список подключений Glue, используемых для этой задачи.
debug_botocore_endpoint_logs булево	Варианты: нет ← да	Используйте логирование botocore.endpoint для анализа уникальных (а не общих) API-вызовов «ресурс:действие», выполненных во время задачи, выводя набор в ключ resource_actions в результатах задачи. Используйте обратный вызов aws_resource_action для вывода общего списка, выполненного во время книги задач. Переменная среды ANSIBLE_DEBUG_BOTOCORE_LOGS также может быть использована.
default_arguments словарь		Словарь аргументов по умолчанию для этой задачи. Вы можете указать здесь аргументы, которые использует ваш собственный скрипт выполнения задачи, а также аргументы, которые использует сам AWS Glue.
description строка		Описание определенной задачи.
ec2_url строка		URL для подключения к EC2 или вашему облаку Eucalyptus (по умолчанию модуль будет использовать конечные точки EC2). Игнорируется для модулей, для которых требуется регион. Должен быть указан для всех остальных модулей, если регион не используется. Если не задан, используется значение переменной среды EC2_URL, если она есть. псевдонимы: aws_endpoint_url, endpoint_url
max_concurrent_runs целое число		Максимальное количество одновременных запусков для задачи. По умолчанию — 1. Возвращается ошибка, когда достигается этот порог. Максимальное значение, которое можно указать, ограничено лимитом службы.
max_retries целое число		Максимальное количество попыток повторного выполнения этой задачи в случае сбоя.
name строка / обязательно		Наименование, которое вы присваиваете этому определению задачи. Оно должно быть уникальным в вашей учетной записи.
profile строка		Использует профиль boto. Работает только с boto >= 2.24.0. Использование profile переопределяет aws_access_key, aws_secret_key и security_token, и поддержка одновременного указания этих параметров с profile устарела. aws_access_key, aws_secret_key и security_token будут взаимно исключать друг друга с profile после 2022-06-01. псевдонимы: aws_profile
region строка		AWS регион для использования. Если не указан, используется значение переменной среды AWS_REGION или EC2_REGION, если она есть. См. http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region псевдонимы: aws_region, ec2_region
role строка		Имя или ARN роли IAM, связанной с этой задачей. Требуется, когда state=present.
security_token строка		Токен безопасности AWS STS. Если не задан, используется значение переменной окружения AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN. Если установлен параметр profile, этот параметр игнорируется. Одновременное указание параметров security_token и profile устарело и параметры будут взаимно исключать друг друга после 2022-06-01. псевдонимы: aws_security_token, access_token
state строка / обязательно	Варианты: present absent	Создание или удаление задачи AWS Glue.
timeout целое число		Таймаут задачи в минутах.
validate_certs булево	Варианты: нет да ←	Если установлено значение "нет", SSL-сертификаты не будут проверяться для версий boto >= 2.6.0.

Примечания

Примечание

Если параметры не заданы в модуле, можно использовать следующие переменные среды в порядке убывания приоритета AWS_URL или EC2_URL, AWS_PROFILE или AWS_DEFAULT_PROFILE, AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY или EC2_ACCESS_KEY, AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY или EC2_SECRET_KEY, AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN, AWS_REGION или EC2_REGION, AWS_CA_BUNDLE
Ansible использует файл конфигурации boto (обычно ~/.boto), если учетные данные не предоставлены. См. https://boto.readthedocs.io/en/latest/boto_config_tut.html
AWS_REGION или EC2_REGION можно использовать для указания AWS региона, если требуется, но это также можно настроить в файле конфигурации boto

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create an AWS Glue job
- community.aws.aws_glue_job:
    command_script_location: s3bucket/script.py
    name: my-glue-job
    role: my-iam-role
    state: present

# Delete an AWS Glue job
- community.aws.aws_glue_job:
    name: my-glue-job
    state: absent

Значения возврата

Общие значения возврата описаны в здесь. Ниже приведены поля, уникальные для данного модуля:

Ключ		Возвращаемое значение	Описание
allocated_capacity целое число		при наличии состояния	Количество выделенных единиц обработки данных AWS Glue (DPUs) для запусков этой задачи. Можно выделить от 2 до 100 DPU; по умолчанию — 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 vCPU и 16 ГБ памяти. Пример: 10
command сложный		при наличии состояния	Команда JobCommand, выполняющая эту задачу.
	name строка	при наличии состояния	Имя команды задания. Пример: glueetl
	script_location строка	при наличии состояния	Указывает путь S3 к скрипту, выполняющему задачу. Пример: mybucket/myscript.py
connections словарь		при наличии состояния	Подключения, используемые для этой задачи. Пример: { Connections: [ 'список', 'подключений' ] }
created_on строка		при наличии состояния	Дата и время создания этого определения задачи. Пример: 2018-04-21T05:19:58.326000+00:00
default_arguments словарь		при наличии состояния	Значения по умолчанию для этой задачи, заданные в виде пар имя-значение. Пример: { 'mykey1': 'myvalue1' }
description строка		при наличии состояния	Описание определяемой задачи. Пример: Моя первая задача Glue
execution_property сложный		всегда	Свойство ExecutionProperty, определяющее максимальное количество одновременных запусков для этой задачи.
	max_concurrent_runs целое число	при наличии состояния	Максимальное количество одновременных запусков для задачи. По умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитом сервиса. Пример: 1
job_name строка		всегда	Имя задачи AWS Glue. Пример: my-glue-job
last_modified_on строка		при наличии состояния	Последняя точка времени, когда это определение задачи было изменено. Пример: 2018-04-21T05:19:58.326000+00:00
max_retries целое число		при наличии состояния	Максимальное количество попыток повторного выполнения этой задачи после сбоя JobRun. Пример: 5
name строка		при наличии состояния	Имя, назначенное этому определению задачи. Пример: my-glue-job
role строка		при наличии состояния	Имя или ARN роли IAM, связанной с этой задачей. Пример: my-iam-role
timeout целое число		при наличии состояния	Таймаут задачи в минутах. Пример: 300

Авторы

Rob White (@wimnat)

© 2012–2018 Michael DeHaan
© 2018–2021 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/2.11/collections/community/aws/aws_glue_job_module.html