Модуль community.aws.glue_job – Управление заданием AWS Glue

access_key

aliases: aws_access_key_id, aws_access_key, ec2_access_key

string

Идентификатор ключа доступа AWS.

Дополнительную информацию о токенах доступа см. в документации AWS https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также могут использоваться переменные среды AWS_ACCESS_KEY_ID, AWS_ACCESS_KEY или EC2_ACCESS_KEY в порядке убывания приоритета.

Параметры aws_access_key и profile являются взаимоисключающими.

Псевдоним aws_access_key_id был добавлен в релизе 5.1.0 для согласованности с AWS botocore SDK.

Псевдоним ec2_access_key устарел и будет удален в релизе после 2024-12-01.

Поддержка переменной среды EC2_ACCESS_KEY устарела и будет удалена в релизе после 2024-12-01.

allocated_capacity

integer

Количество единиц обработки данных AWS Glue (DPU), которые нужно выделить для этой задачи. Можно выделить от 2 до 100 DPU; по умолчанию используется 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 vCPU вычислительной мощности и 16 ГБ памяти.

aws_ca_bundle

path

Расположение пакета CA, используемого при проверке сертификатов SSL.

Также может использоваться переменная среды AWS_CA_BUNDLE.

aws_config

dictionary

Словарь для изменения конфигурации botocore.

Параметры можно найти в документации AWS https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.

command_name

string

Имя команды задания. Это должно быть «glueetl».

По умолчанию: "glueetl"

command_python_version

string

добавлено в community.aws 2.2.0

Версия Python, используемая для выполнения задания оболочки Python.

В настоящее время AWS поддерживает '2' или '3'.

command_script_location

string

Путь S3 к скрипту, который выполняет задание.

Требуется, когда state=present.

connections

list / elements=string

Список подключений Glue, используемых для этой задачи.

debug_botocore_endpoint_logs

boolean

Использовать botocore.endpoint регистратор для анализа уникальных (а не общих) вызовов API "resource:action", сделанных во время задачи, выводя набор в ключ resource_actions в результатах задачи. Используйте обратный вызов aws_resource_action для вывода в общий список, сделанный во время playbook.

Также может использоваться переменная среды ANSIBLE_DEBUG_BOTOCORE_LOGS.

Варианты:

• false ← (по умолчанию)
• true

default_arguments

dictionary

Словарь аргументов по умолчанию для этой задачи. Здесь можно указать аргументы, которые использует ваш собственный скрипт выполнения задания, а также аргументы, которые использует сам AWS Glue.

description

string

Описание определяемого задания.

endpoint_url

aliases: ec2_url, aws_endpoint_url, s3_url

string

URL для подключения вместо стандартных конечных точек AWS. Хотя это можно использовать для подключения к другим совместимым с AWS сервисам, коллекции amazon.aws и community.aws тестируются только с AWS.

Также могут использоваться переменные среды AWS_URL или EC2_URL в порядке убывания приоритета.

Псевдонимы ec2_url и s3_url устарели и будут удалены в релизе после 2024-12-01.

Поддержка переменной среды EC2_URL устарела и будет удалена в релизе после 2024-12-01.

glue_version

string

добавлено в community.aws 1.5.0

Версия Glue определяет версии Apache Spark и Python, которые поддерживает AWS Glue.

max_concurrent_runs

integer

Максимальное количество одновременно выполняемых заданий. По умолчанию используется 1. Когда этот порог достигнут, возвращается ошибка. Максимальное значение, которое можно указать, регулируется ограничением сервиса.

max_retries

integer

Максимальное количество попыток повтора этого задания в случае сбоя.

name

string / required

Имя, которое вы присваиваете этому определению задания. Оно должно быть уникальным в вашей учетной записи.

number_of_workers

integer

добавлено в community.aws 1.5.0

Количество рабочих заданного workerType, которые выделяются при выполнении задания.

profile

aliases: aws_profile

строка

Используемый именованный профиль AWS для аутентификации.

См. документацию AWS для получения дополнительной информации об именованных профилях https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html.

Также можно использовать переменную среды AWS_PROFILE.

Опция profile взаимоисключает опции aws_access_key, aws_secret_key и security_token.

purge_tags

логическое значение

Если purge_tags=true и tags установлено, существующие теги будут удалены из ресурса, чтобы точно соответствовать параметру tags.

Если параметр tags не установлен, теги не будут изменены, даже если purge_tags=True.

Ключи тегов, начинающиеся с aws:, зарезервированы Amazon и не могут быть изменены. Поэтому они будут проигнорированы для параметра purge_tags. Для получения дополнительной информации см. документацию Amazon https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions.

Варианты:

• false
• true ← (по умолчанию)

region

aliases: aws_region, ec2_region

строка

AWS регион для использования.

Для глобальных сервисов, таких как IAM, Route53 и CloudFront, region игнорируется.

Также можно использовать переменные среды AWS_REGION или EC2_REGION.

Дополнительную информацию см. в документации Amazon AWS http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region.

Псевдоним ec2_region устарел и будет удален в релизе после 2024-12-01

Поддержка переменной среды EC2_REGION устарела и будет удалена в релизе после 2024-12-01.

role

строка

Имя или ARN роли IAM, связанной с этой задачей.

Требуется при state=present.

secret_key

aliases: aws_secret_access_key, aws_secret_key, ec2_secret_key

строка

Секретный ключ доступа AWS.

См. документацию AWS для получения дополнительной информации об маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Переменные среды AWS_SECRET_ACCESS_KEY, AWS_SECRET_KEY, или EC2_SECRET_KEY также могут быть использованы в порядке убывания приоритета.

Опции secret_key и profile взаимоисключающие.

Псевдоним aws_secret_access_key добавлен в релизе 5.1.0 для согласованности с AWS botocore SDK.

Псевдоним ec2_secret_key устарел и будет удален в релизе после 2024-12-01.

Поддержка переменной среды EC2_SECRET_KEY устарела и будет удалена в релизе после 2024-12-01.

session_token

aliases: aws_session_token, security_token, aws_security_token, access_token

строка

AWS STS токен сессии для использования с временными учетными данными.

См. документацию AWS для получения дополнительной информации об маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Переменные среды AWS_SESSION_TOKEN, AWS_SECURITY_TOKEN или EC2_SECURITY_TOKEN также могут быть использованы в порядке убывания приоритета.

Опции security_token и profile взаимоисключающие.

Псевдонимы aws_session_token и session_token добавлены в релизе 3.2.0, а параметр был переименован из security_token в session_token в релизе 6.0.0.

Псевдонимы security_token, aws_security_token и access_token устарели и будут удалены в релизе после 2024-12-01.

Поддержка переменных среды EC2_SECRET_KEY и AWS_SECURITY_TOKEN устарела и будет удалена в релизе после 2024-12-01.

state

строка / требуется

Создание или удаление задания AWS Glue.

Варианты:

• "present"
• "absent"

tags

aliases: resource_tags

словарь

Словарь, представляющий теги, которые должны быть применены к ресурсу.

Если параметр tags не установлен, теги не будут изменены.

timeout

целое число

Таймаут задания в минутах.

validate_certs

логическое значение

При установке в значение false, сертификаты SSL для связи с API AWS не будут проверяться.

Установка validate_certs=false категорически не рекомендуется. В качестве альтернативы, рассмотрите установку aws_ca_bundle вместо этого.

Варианты:

• false
• true ← (по умолчанию)

worker_type

строка

добавлено в community.aws 1.5.0

Тип предопределенного рабочего узла, выделяемого при выполнении задания.

Поддержка типов экземпляров G.4X( and C(G.8X была добавлена в релизе community.aws 7.2.0.

Варианты:

• "Standard"
• "G.1X"
• "G.2X"
• "G.4X"
• "G.8X"

allocated_capacity

целое число

Количество выделенных единиц обработки данных AWS Glue (DPUs) для запусков этой задачи. Можно выделить от 2 до 100 DPUs; по умолчанию — 10. DPU — относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти.

Возвращается: при наличии состояния

Пример: 10

command

сложное

Команда JobCommand, выполняющая эту задачу.

Возвращается: при наличии состояния

name

строка

Имя команды задачи.

Возвращается: при наличии состояния

Пример: "glueetl"

python_version

строка

Указывает версию Python.

Возвращается: при наличии состояния

Пример: "3"

script_location

строка

Указывает путь S3 к скрипту, выполняющему задачу.

Возвращается: при наличии состояния

Пример: "mybucket/myscript.py"

connections

словарь

Подключения, используемые для этой задачи.

Возвращается: при наличии состояния

Пример: "{ Connections: [ 'list', 'of', 'connections' ] }"

created_on

строка

Время и дата создания определения задачи.

Возвращается: при наличии состояния

Пример: "2018-04-21T05:19:58.326000+00:00"

default_arguments

словарь

Аргументы по умолчанию для этой задачи, заданные в виде пар имя-значение.

Возвращается: при наличии состояния

Пример: {"mykey1": "myvalue1"}

description

строка

Описание определяемой задачи.

Возвращается: при наличии состояния

Пример: "My first Glue job"

execution_property

сложное

Свойство ExecutionProperty, указывающее максимальное количество одновременных запусков, разрешенных для этой задачи.

Возвращается: всегда

max_concurrent_runs

целое число

Максимальное количество одновременных запусков, разрешенных для задачи. По умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное значение, которое можно указать, ограничено лимитом службы.

Возвращается: при наличии состояния

Пример: 1

glue_version

строка

Версия Glue.

Возвращается: при наличии состояния

Пример: "2.0"

job_name

строка

Имя задачи AWS Glue.

Возвращается: всегда

Пример: "my-glue-job"

last_modified_on

строка

Последняя точка времени, когда определение задачи было изменено.

Возвращается: при наличии состояния

Пример: "2018-04-21T05:19:58.326000+00:00"

max_retries

целое число

Максимальное количество попыток повторного выполнения этой задачи после того, как JobRun завершился неудачно.

Возвращается: при наличии состояния

Пример: 5

name

строка

Имя, присвоенное этому определению задачи.

Возвращается: при наличии состояния

Пример: "my-glue-job"

role

строка

Имя или ARN роли IAM, связанной с этой задачей.

Возвращается: при наличии состояния

Пример: "my-iam-role"

timeout

integer

Время ожидания задания в минутах.

Возвращаемое значение: при наличии состояния

Пример: 300