start-job-run

Описание

Запускает выполнение задания с использованием определения задания.

См. также: Документация API AWS

Синтаксис

  start-job-run
--job-name <value>
[--job-run-queuing-enabled | --no-job-run-queuing-enabled]
[--job-run-id <value>]
[--arguments <value>]
[--allocated-capacity <value>]
[--timeout <value>]
[--max-capacity <value>]
[--security-configuration <value>]
[--notification-property <value>]
[--worker-type <value>]
[--number-of-workers <value>]
[--execution-class <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-name (строка)

Имя используемого определения задания.

--job-run-queuing-enabled | --no-job-run-queuing-enabled (логическое значение)

Указывает, включена ли очередь заданий для выполнения задания.

Значение true означает, что очередь заданий включена для выполнения задания. Если значение false или параметр не указан, выполнение задания не будет учитываться в очереди.

--job-run-id (строка)

Идентификатор предыдущего JobRun для повторного выполнения.

--arguments (карта)

Аргументы задания, связанные с этим запуском. Для этого выполнения задания они заменяют значения по умолчанию, заданные в самом определении задания.

Вы можете указать здесь аргументы, которые использует собственный скрипт выполнения задания, а также аргументы, используемые самим Glue.

Аргументы задания могут регистрироваться. Не передавайте текстовые секреты в качестве аргументов. Извлекайте секреты из подключения Glue, Secrets Manager или другого механизма управления секретами, если вы хотите сохранить их в рамках задания.

Дополнительную информацию о том, как указать и использовать собственные аргументы задания, см. в разделе «Вызов API Glue на языке Python» в руководстве для разработчиков.

Дополнительную информацию об аргументах, которые вы можете предоставить в этом поле при настройке заданий Spark, см. в разделе «Специальные параметры, используемые Glue» в руководстве для разработчиков.

Дополнительную информацию об аргументах, которые вы можете предоставить в этом поле при настройке заданий Ray, см. в разделе «Использование параметров задания в заданиях Ray» в руководстве для разработчиков.

ключ -> (строка)

значение -> (строка)

Краткая форма синтаксиса:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--allocated-capacity (целое число)

Это поле устарело. Используйте MaxCapacity вместо него.

Количество единиц обработки данных Glue (DPU), которые необходимо выделить для этого выполнения задания. Можно выделить как минимум 2 DPU; по умолчанию используется 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) и 16 ГБ памяти. Дополнительную информацию см. на странице цен Glue.

--timeout (целое число)

Срок ожидания JobRun в минутах. Это максимальное время, которое выполнение задания может использовать ресурсы, прежде чем будет завершено и перейдет в состояние TIMEOUT. Это значение переопределяет значение таймаута, заданное в родительском задании.

Значения таймаута заданий должны быть меньше 7 дней или 10080 минут. В противном случае задания вызовут исключение.

Если значение не указано, по умолчанию используется 2880 минут.

Все существующие задания Glue, у которых значение таймаута было больше 7 дней, будут по умолчанию установлены на 7 дней. Например, если вы указали таймаут в 20 дней для пакетного задания, оно будет остановлено на 7-й день.

Для потоковых заданий, если вы настроите окно технического обслуживания, оно будет перезапущено во время этого окна после 7 дней.

--max-capacity (число с плавающей точкой)

Для заданий Glue версии 1.0 или более ранних, использующих стандартный тип исполнителей, количество единиц обработки данных Glue (DPU), которые могут быть выделены при выполнении этого задания. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) и 16 ГБ памяти. Дополнительную информацию см. на странице цен Glue.

Для заданий Glue версии 2.0 и выше вы не можете указать Maximum capacity. Вместо этого вы должны указать Worker type и Number of workers.

Не устанавливайте MaxCapacity, если используете WorkerType и NumberOfWorkers.

Значение, которое может быть выделено для MaxCapacity, зависит от того, выполняете ли вы задание с Python-оболочкой, задание ETL Apache Spark или задание Apache Spark потоковой обработки ETL:

При указании задания Python-оболочки (JobCommand.Name =”pythonshell”), вы можете выделить либо 0,0625, либо 1 DPU. По умолчанию используется 0,0625 DPU.
При указании задания ETL Apache Spark (JobCommand.Name =”glueetl”) или задания Apache Spark потоковой обработки ETL (JobCommand.Name =”gluestreaming”), вы можете выделить от 2 до 100 DPU. По умолчанию используется 10 DPU. Для этого типа заданий не допускается дробное выделение DPU.

--security-configuration (строка)

Имя структуры SecurityConfiguration, которая должна использоваться с этим запуском задания.

--notification-property (структура)

Указывает конфигурационные свойства уведомления о выполнении задания.

NotifyDelayAfter -> (целое число)

Количество минут, которые необходимо подождать после запуска выполнения задания, прежде чем отправлять уведомление о задержке выполнения задания.

Краткая форма синтаксиса:

NotifyDelayAfter=integer

Синтаксис JSON:

{
  "NotifyDelayAfter": integer
}

--worker-type (строка)

Тип предопределенного исполнителя, который выделяется при запуске задания. Принимает значения G.1X, G.2X, G.4X, G.8X или G.025X для заданий Spark. Принимает значение Z.2X для заданий Ray.

Для типа исполнителя G.1X каждый исполнитель соответствует 1 DPU (4 vCPU, 16 ГБ памяти) с диском 94 ГБ и предоставляет 1 исполнитель на исполнитель. Мы рекомендуем этот тип исполнителя для таких задач, как преобразование данных, объединения и запросы, чтобы обеспечить масштабируемый и экономичный способ выполнения большинства заданий.
Для типа исполнителя G.2X каждый исполнитель соответствует 2 DPU (8 vCPU, 32 ГБ памяти) с диском 138 ГБ и предоставляет 1 исполнитель на исполнитель. Мы рекомендуем этот тип исполнителя для таких задач, как преобразование данных, объединения и запросы, чтобы обеспечить масштабируемый и экономичный способ выполнения большинства заданий.
Для типа исполнителя G.4X каждый исполнитель соответствует 4 DPU (16 vCPU, 64 ГБ памяти) с диском 256 ГБ и предоставляет 1 исполнитель на исполнитель. Мы рекомендуем этот тип исполнителя для заданий, рабочая нагрузка которых включает в себя самые требовательные преобразования, агрегации, объединения и запросы. Этот тип исполнителя доступен только для заданий ETL Apache Spark версии Glue 3.0 и выше в следующих регионах Amazon Web Services: US East (Ohio), US East (N. Virginia), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Canada (Central), Europe (Frankfurt), Europe (Ireland) и Europe (Stockholm).
Для типа исполнителя G.8X каждый исполнитель соответствует 8 DPU (32 vCPU, 128 ГБ памяти) с диском 512 ГБ и предоставляет 1 исполнитель на исполнитель. Мы рекомендуем этот тип исполнителя для заданий, рабочая нагрузка которых включает в себя самые требовательные преобразования, агрегации, объединения и запросы. Этот тип исполнителя доступен только для заданий ETL Apache Spark версии Glue 3.0 и выше в тех же регионах Amazon Web Services, что и для типа исполнителя G.4X.
Для типа исполнителя G.025X каждый исполнитель соответствует 0,25 DPU (2 vCPU, 4 ГБ памяти) с диском 84 ГБ и предоставляет 1 исполнитель на исполнитель. Мы рекомендуем этот тип исполнителя для заданий потоковой обработки с низким объемом. Этот тип исполнителя доступен только для потоковых заданий Glue версии 3.0 и выше.
Для типа исполнителя Z.2X каждый исполнитель соответствует 2 M-DPU (8 vCPU, 64 ГБ памяти) с диском 128 ГБ и предоставляет до 8 исполнителей Ray на основе автоматического масштабирования.

Возможные значения:

Standard
G.1X
G.2X
G.025X
G.4X
G.8X
Z.2X

--number-of-workers (целое число)

Количество исполнителей определённого workerType, которое выделяется при запуске задания.

--execution-class (строка)

Указывает, запускается ли задание со стандартным или гибким классом выполнения. Стандартный класс выполнения идеален для задач с жесткими временными рамками, которым требуются быстрый запуск задания и выделенные ресурсы.

Гибкий класс выполнения подходит для задач, не зависящих от времени, для которых время начала и завершения может изменяться.

Только задания с Glue версии 3.0 и выше и типом команды glueetl разрешается установить ExecutionClass на значение FLEX. Гибкий класс выполнения доступен для заданий Spark.

Возможные значения:

FLEX
STANDARD

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью предоставленного значения JSON, поскольку строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. При отсутствии значения или при значении input выводит пример JSON-ввода, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при значении yaml-input выведет пример YAML-ввода, который можно использовать с --cli-input-yaml. При значении output проверяет входные данные команд и возвращает JSON-пример выходных данных для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (boolean)

Включить отладовую запись.

--endpoint-url (string)

Заменить стандартный URL команды на указанный URL.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (boolean)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один запрос для первой страницы результатов.

--output (string)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определенный профиль из файла учетных данных.

--region (string)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (string)

Отобразить версию этого инструмента.

--color (string)

Включить/отключить цветной вывод.

on
off
auto

--no-sign-request (boolean)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (string)

Файл сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет ограничено по времени. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет ограничено по времени. Значение по умолчанию — 60 секунд.

--cli-binary-format (string)

Стиль форматирования для двоичных блоков. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строки base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое сопоставляется с двоичным блоком fileb:// всегда будет обрабатываться как двоичное и использовать содержимое файла напрямую независимо от настроек cli-binary-format. При использовании file:// содержимое файла необходимо отформатировать в соответствии с настроенным cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (boolean)

Отключить вывод пагинатора CLI.

--cli-auto-prompt (boolean)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматическое запросы параметров ввода CLI.

Примеры

Примечание

Чтобы использовать следующие примеры, вы должны установить и настроить AWS CLI. Более подробная информация приведена в руководстве по началу работы в Руководстве пользователя AWS CLI.

Если не указано иное, все примеры используют правила цитирования Unix-подобных систем. Эти примеры необходимо адаптировать к правилам цитирования вашей оболочки. См. Использование кавычек со строками в Руководстве пользователя AWS CLI.

Запуск задачи

Следующий start-job-run пример запускает задачу.

aws glue start-job-run \
    --job-name my-job

Вывод:

{
    "JobRunId": "jr_22208b1f44eb5376a60569d4b21dd20fcb8621e1a366b4e7b2494af764b82ded"
}

Для получения дополнительной информации см. раздел Создание задач в Руководстве разработчика AWS Glue.

Вывод

JobRunId -> (string)

Идентификатор, присвоенный этому запуску задачи.