Модуль community.aws.glue_job – управление заданием AWS Glue

access_key

псевдонимы: aws_access_key_id, aws_access_key

string

Идентификатор ключа доступа AWS.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменные среды AWS_ACCESS_KEY_ID или AWS_ACCESS_KEY в порядке убывания приоритета.

Параметры aws_access_key и profile являются взаимоисключающими.

Псевдоним aws_access_key_id добавлен в выпуске 5.1.0 для соответствия AWS SDK botocore.

allocated_capacity

integer

Количество единиц обработки данных AWS Glue (DPU), выделяемых этому заданию. Можно выделить от 2 до 100 DPU; значение по умолчанию — 10. DPU — это относительная мера вычислительной мощности, соответствующая 4 виртуальным ЦП и 16 ГБ памяти.

aws_ca_bundle

path

Путь к пакету центров сертификации, используемому для проверки SSL-сертификатов.

Также можно использовать переменную среды AWS_CA_BUNDLE.

aws_config

dictionary

Словарь для изменения конфигурации botocore.

Описание параметров доступно в документации AWS: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.

command_name

string

Имя команды задания. Оно должно быть ‘glueetl’.

По умолчанию: "glueetl"

command_python_version

string

добавлено в community.aws 2.2.0

Версия Python, используемая для выполнения задания оболочки Python.

В настоящее время AWS поддерживает '2' или '3'.

command_script_location

string

Путь S3 к скрипту, выполняющему задание.

Обязателен, если state=present.

connections

list / элементы=string

Список подключений Glue, используемых для этого задания.

debug_botocore_endpoint_logs

boolean

Использовать средство ведения журнала botocore.endpoint для разбора уникальных (а не общих) вызовов API "resource:action", выполненных во время задачи, и выводить их набор в ключ resource_actions результатов задачи. Используйте обратный вызов aws_resource_action, чтобы вывести общий список вызовов, выполненных в рамках плейбука.

Также можно использовать переменную среды ANSIBLE_DEBUG_BOTOCORE_LOGS.

Варианты:

• false ← (по умолчанию)
• true

default_arguments

dictionary

Словарь аргументов по умолчанию для этого задания. Здесь можно указать аргументы, которые использует ваш скрипт выполнения задания, а также аргументы, используемые самим AWS Glue.

description

string

Описание создаваемого задания.

endpoint_url

псевдонимы: aws_endpoint_url

string

URL для подключения вместо конечных точек AWS по умолчанию. Хотя этот параметр можно использовать для подключения к другим сервисам, совместимым с AWS, коллекции amazon.aws и community.aws тестируются только с AWS.

Также можно использовать переменную среды AWS_URL.

glue_version

string

добавлено в community.aws 1.5.0

Версия Glue определяет версии Apache Spark и Python, поддерживаемые AWS Glue.

max_concurrent_runs

integer

Максимальное число одновременных запусков задания. Значение по умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное допустимое значение определяется ограничением сервиса.

max_retries

integer

Максимальное число повторных попыток выполнения задания в случае сбоя.

name

string / обязательный

Имя, присваиваемое этому определению задания. Оно должно быть уникальным в вашей учетной записи.

number_of_workers

integer

добавлено в community.aws 1.5.0

Количество рабочих узлов указанного типа, выделяемых при запуске задания.

profile

псевдонимы: aws_profile

string

Именованный профиль AWS для аутентификации.

Дополнительные сведения об именованных профилях см. в документации AWS: https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html.

Также можно использовать переменную среды AWS_PROFILE.

Параметр profile взаимоисключающий с параметрами aws_access_key, aws_secret_key и session_token.

purge_tags

boolean

Если purge_tags=true и задан параметр tags, существующие теги ресурса будут удалены, чтобы набор тегов точно соответствовал указанному параметром tags.

Если параметр tags не задан, теги не изменяются, даже если purge_tags=True.

Ключи тегов, начинающиеся с aws:, зарезервированы Amazon и не могут быть изменены. Поэтому они игнорируются при обработке параметра purge_tags. Дополнительные сведения см. в документации Amazon: https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions.

Варианты:

• false
• true ← (по умолчанию)

region

псевдонимы: aws_region

string

Регион AWS, который следует использовать.

Для глобальных сервисов, таких как IAM, Route53 и CloudFront, параметр region игнорируется.

Также можно использовать переменную среды AWS_REGION.

Дополнительные сведения см. в документации Amazon AWS: http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region.

role

string

Имя или ARN роли IAM, связанной с этим заданием.

Обязателен, если state=present.

secret_key

псевдонимы: aws_secret_access_key, aws_secret_key

string

Секретный ключ доступа AWS.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменные среды AWS_SECRET_ACCESS_KEY или AWS_SECRET_KEY в порядке убывания приоритета.

Параметры secret_key и profile являются взаимоисключающими.

Псевдоним aws_secret_access_key добавлен в выпуске 5.1.0 для соответствия AWS SDK botocore.

session_token

псевдонимы: aws_session_token

string

Токен сеанса AWS STS для использования с временными учетными данными.

Дополнительные сведения о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys.

Также можно использовать переменную среды AWS_SESSION_TOKEN.

Параметры session_token и profile являются взаимоисключающими.

state

string / обязательный

Создать или удалить задание AWS Glue.

Варианты:

• "present"
• "absent"

tags

псевдонимы: resource_tags

dictionary

Словарь тегов, применяемых к ресурсу.

Если параметр tags не задан, теги не изменяются.

timeout

integer

Время ожидания задания в минутах.

validate_certs

boolean

Если задано значение false, SSL-сертификаты при обмене данными с API AWS проверяться не будут.

Настоятельно не рекомендуется задавать validate_certs=false; вместо этого рассмотрите возможность настройки aws_ca_bundle.

Варианты:

• false
• true ← (по умолчанию)

worker_type

string

добавлено в community.aws 1.5.0

Тип предопределенного рабочего узла, выделяемого при запуске задания.

Поддержка типов экземпляров G.4X( and C(G.8X добавлена в выпуске community.aws 7.2.0.

Варианты:

• "Standard"
• "G.1X"
• "G.2X"
• "G.4X"
• "G.8X"

allocated_capacity

integer

Количество единиц обработки данных AWS Glue (DPU), выделенных для запусков этой задачи. Можно выделить от 2 до 100 DPU; значение по умолчанию — 10. DPU — это относительная мера вычислительной мощности, включающая 4 виртуальных ЦП и 16 ГБ памяти.

Возвращается: когда state имеет значение present

Пример: 10

command

complex

Команда JobCommand, выполняющая эту задачу.

Возвращается: когда state имеет значение present

name

string

Имя команды задачи.

Возвращается: когда state имеет значение present

Пример: "glueetl"

python_version

string

Указывает версию Python.

Возвращается: когда state имеет значение present

Пример: "3"

script_location

string

Указывает путь S3 к скрипту, выполняющему задачу.

Возвращается: когда state имеет значение present

Пример: "mybucket/myscript.py"

connections

dictionary

Подключения, используемые этой задачей.

Возвращается: когда state имеет значение present

Пример: "{ Connections: [ 'list', 'of', 'connections' ] }"

created_on

string

Дата и время создания определения этой задачи.

Возвращается: когда state имеет значение present

Пример: "2018-04-21T05:19:58.326000+00:00"

default_arguments

dictionary

Аргументы по умолчанию для этой задачи, заданные в виде пар «имя — значение».

Возвращается: когда state имеет значение present

Пример: {"mykey1": "myvalue1"}

description

string

Описание создаваемой задачи.

Возвращается: когда state имеет значение present

Пример: "My first Glue job"

execution_property

complex

Свойство ExecutionProperty, задающее максимальное количество одновременных запусков этой задачи.

Возвращается: всегда

max_concurrent_runs

integer

Максимальное количество одновременных запусков задачи. Значение по умолчанию — 1. При достижении этого порога возвращается ошибка. Максимальное допустимое значение определяется ограничением сервиса.

Возвращается: когда state имеет значение present

Пример: 1

glue_version

string

Версия Glue.

Возвращается: когда state имеет значение present

Пример: "2.0"

job_name

string

Имя задачи AWS Glue.

Возвращается: всегда

Пример: "my-glue-job"

last_modified_on

string

Время последнего изменения определения этой задачи.

Возвращается: когда state имеет значение present

Пример: "2018-04-21T05:19:58.326000+00:00"

max_retries

integer

Максимальное количество повторных попыток запуска этой задачи после сбоя JobRun.

Возвращается: когда state имеет значение present

Пример: 5

name

string

Имя, присвоенное определению этой задачи.

Возвращается: когда state имеет значение present

Пример: "my-glue-job"

role

string

Имя или ARN роли IAM, связанной с этой задачей.

Возвращается: когда state имеет значение present

Пример: "my-iam-role"

timeout

integer

Тайм-аут задачи в минутах.

Возвращается: когда state имеет значение present

Пример: 300