get-job-run

Описание

Получает метаданные для заданного выполнения задания. История выполнения заданий доступна в течение 365 дней для вашего рабочего процесса и выполнения задания.

См. также: Документацию API AWS

Синтаксис

  get-job-run
--job-name <value>
--run-id <value>
[--predecessors-included | --no-predecessors-included]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-name (строка)

Имя определения задания, которое выполняется.

--run-id (строка)

Идентификатор выполнения задания.

--predecessors-included | --no-predecessors-included (булево)

Истина, если должен быть возвращен список предшествующих выполнений.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передать произвольные двоичные значения, используя значение, предоставленное JSON, так как строка будет взята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или значение input, выводит JSON-образец входных данных, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, он выведет образец входных данных YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команды и возвращает JSON-образец выходных данных для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантии обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (булево)

Включает отладовую регистрацию.

--endpoint-url (строка)

Переопределяет стандартный URL команды указанным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет стандартное поведение проверки SSL-сертификатов.

--no-paginate (булево)

Отключает автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для использования при фильтрации данных ответа.

--profile (строка)

Использование определенного профиля из файла аутентификационных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отображение версии этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

on
off
auto

--no-sign-request (булево)

Не подписывать запросы. Кредиты не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Набор сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, который будет использоваться для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде строки, закодированной в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого файла, которое отображается на двоичный блок, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (булево)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (булево)

Автоматически запрашивать параметры входных данных CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическое запросы параметров входных данных CLI.

Примеры

Примечание

Чтобы использовать следующие примеры, необходимо установить и настроить AWS CLI. См. руководство по началу работы в Руководстве пользователя AWS CLI для получения дополнительной информации.

Если не указано иное, все примеры имеют правила цитирования в стиле Unix. Эти примеры потребуется адаптировать к правилам цитирования вашей оболочки. См. Использование кавычек со строками в Руководстве пользователя AWS CLI.

Получение информации о выполнении задания

Следующий get-job-run пример получает информацию о выполнении задания.

aws glue get-job-run \
    --job-name "Combine legistators data" \
    --run-id jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e

Вывод:

{
    "JobRun": {
        "Id": "jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e",
        "Attempt": 0,
        "JobName": "Combine legistators data",
        "StartedOn": 1602873931.255,
        "LastModifiedOn": 1602874075.985,
        "CompletedOn": 1602874075.985,
        "JobRunState": "SUCCEEDED",
        "Arguments": {
            "--enable-continuous-cloudwatch-log": "true",
            "--enable-metrics": "",
            "--enable-spark-ui": "true",
            "--job-bookmark-option": "job-bookmark-enable",
            "--spark-event-logs-path": "s3://aws-glue-assets-111122223333-us-east-1/sparkHistoryLogs/"
        },
        "PredecessorRuns": [],
        "AllocatedCapacity": 10,
        "ExecutionTime": 117,
        "Timeout": 2880,
        "MaxCapacity": 10.0,
        "WorkerType": "G.1X",
        "NumberOfWorkers": 10,
        "LogGroupName": "/aws-glue/jobs",
        "GlueVersion": "2.0"
    }
}

Для получения дополнительной информации см. Выполнения заданий в Руководстве разработчика AWS Glue.

Вывод

JobRun -> (структура)

Запрашиваемые метаданные о запуске задания.

Id -> (строка)

Идентификатор этого запуска задания.

Attempt -> (целое число)

Номер попытки выполнения этого задания.

PreviousRunId -> (строка)

Идентификатор предыдущего запуска этого задания. Например, JobRunId, указанный в действии StartJobRun.

TriggerName -> (строка)

Имя триггера, который запустил этот запуск задания.

JobName -> (строка)

Имя определения задания, используемого в этом запуске.

JobMode -> (строка)

Режим, описывающий способ создания задания. Допустимые значения:

SCRIPT - Задание было создано с помощью редактора скриптов Glue Studio.
VISUAL - Задание было создано с помощью визуального редактора Glue Studio.
NOTEBOOK - Задание было создано с помощью ноутбука интерактивных сессий.

Если поле JobMode отсутствует или равно null, по умолчанию используется значение SCRIPT.

JobRunQueuingEnabled -> (булево)

Указывает, включена ли очередь запусков заданий для этого запуска задания.

Значение true означает, что очередь запусков заданий включена для этого запуска задания. Если значение false или оно не указано, запуск задания не будет рассмотрен для очереди.

StartedOn -> (метка времени)

Дата и время начала этого запуска задания.

LastModifiedOn -> (метка времени)

Последнее время изменения этого запуска задания.

CompletedOn -> (метка времени)

Дата и время завершения этого запуска задания.

JobRunState -> (строка)

Текущее состояние запуска задания. Дополнительную информацию о состояниях заданий, завершившихся аномально, см. в Glue Job Run Statuses.

Arguments -> (карта)

Аргументы задания, связанные с этим запуском. Для этого запуска задания они заменяют аргументы по умолчанию, заданные в определении задания.

Вы можете указать здесь аргументы, которые использует ваш собственный скрипт выполнения задания, а также аргументы, используемые самим Glue.

Аргументы задания могут быть залогированы. Не передавайте текстовые секреты в качестве аргументов. Извлекайте секреты из соединения Glue, Secrets Manager или другого механизма управления секретами, если вы хотите сохранить их в рамках задания.

Дополнительную информацию о том, как указать и использовать собственные аргументы задания, см. в разделе Вызов API Glue на языке Python в руководстве для разработчиков.

Дополнительную информацию об аргументах, которые можно указать в этом поле при настройке заданий Spark, см. в разделе Специальные параметры, используемые Glue, в руководстве для разработчиков.

Дополнительную информацию об аргументах, которые можно указать в этом поле при настройке заданий Ray, см. в разделе Использование параметров задания в заданиях Ray в руководстве для разработчиков.

key -> (строка)

value -> (строка)

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с этим запуском задания.

PredecessorRuns -> (список)

Список предшественников для этого запуска задания.

(структура)

Запуск задания, который использовался в предикате условного триггера, который запустил это задание.

JobName -> (строка)

Имя определения задания, используемого предшествующим запуском задания.

RunId -> (строка)

Идентификатор запуска задания предшественника.

AllocatedCapacity -> (целое число)

Это поле устарело. Используйте MaxCapacity вместо него.

Количество выделенных единиц обработки данных Glue (DPU) для этого JobRun. Можно выделить от 2 до 100 DPU; по умолчанию — 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

ExecutionTime -> (целое число)

Количество времени (в секундах), которое запуск задания потреблял ресурсы.

Timeout -> (целое число)

Таймаут в минутах для JobRun. Это максимальное время, которое запуск задания может потреблять ресурсы, прежде чем он будет завершен и перейдет в состояние TIMEOUT. Это значение переопределяет значение таймаута, заданное в родительском задании.

Значения таймаута заданий должны быть меньше 7 дней или 10080 минут. В противном случае задания вызовут исключение.

Если значение не указано, по умолчанию используется 2880 минут.

Для всех существующих заданий Glue с таймаутом больше 7 дней значение будет установлено по умолчанию в 7 дней. Например, если вы указали таймаут в 20 дней для задания пакетной обработки, оно будет остановлено на 7-й день.

Для заданий потоковой обработки, если вы настроили окно обслуживания, оно будет перезапущено во время окна обслуживания через 7 дней.

MaxCapacity -> (вещественное число)

Для заданий Glue версии 1.0 или более ранней, использующих стандартный тип обработчиков, количество единиц обработки данных Glue (DPU), которые могут быть выделены при запуске этого задания. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

Для заданий Glue версии 2.0 и выше вы не можете указать Maximum capacity. Вместо этого вы должны указать Worker type и Number of workers.

Не устанавливайте MaxCapacity, если используете WorkerType и NumberOfWorkers.

Значение, которое можно выделить для MaxCapacity, зависит от того, выполняете ли вы задание Python shell, задание Apache Spark ETL или задание Apache Spark streaming ETL:

При указании задания Python shell (JobCommand.Name =”pythonshell”) вы можете выделить 0,0625 или 1 DPU. По умолчанию используется 0,0625 DPU.
При указании задания Apache Spark ETL (JobCommand.Name =”glueetl”) или задания Apache Spark streaming ETL (JobCommand.Name =”gluestreaming”) вы можете выделить от 2 до 100 DPU. По умолчанию — 10 DPU. Этот тип задания не может иметь дробное выделение DPU.

WorkerType -> (строка)

Тип предварительно определенного обработчика, который выделяется при запуске задания. Принимает значения G.1X, G.2X, G.4X, G.8X или G.025X для заданий Spark. Принимает значение Z.2X для заданий Ray.

Для типа обработчика G.1X каждый обработчик соответствует 1 DPU (4 vCPU, 16 ГБ памяти) с диском 94 ГБ и предоставляет 1 исполнитель на обработчик. Мы рекомендуем этот тип обработчика для задач, таких как преобразования данных, объединения и запросы, для предоставления масштабируемого и экономичного способа выполнения большинства заданий.
Для типа обработчика G.2X каждый обработчик соответствует 2 DPU (8 vCPU, 32 ГБ памяти) с диском 138 ГБ и предоставляет 1 исполнитель на обработчик. Мы рекомендуем этот тип обработчика для задач, таких как преобразования данных, объединения и запросы, для предоставления масштабируемого и экономичного способа выполнения большинства заданий.
Для типа обработчика G.4X каждый обработчик соответствует 4 DPU (16 vCPU, 64 ГБ памяти) с диском 256 ГБ и предоставляет 1 исполнитель на обработчик. Мы рекомендуем этот тип обработчика для задач, содержащих наиболее требовательные преобразования, агрегации, объединения и запросы. Этот тип обработчика доступен только для заданий Spark ETL Glue версии 3.0 или более поздней в следующих регионах Amazon Web Services: US East (Ohio), US East (N. Virginia), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Canada (Central), Europe (Frankfurt), Europe (Ireland) и Europe (Stockholm).
Для типа обработчика G.8X каждый обработчик соответствует 8 DPU (32 vCPU, 128 ГБ памяти) с диском 512 ГБ и предоставляет 1 исполнитель на обработчик. Мы рекомендуем этот тип обработчика для задач, содержащих наиболее требовательные преобразования, агрегации, объединения и запросы. Этот тип обработчика доступен только для заданий Spark ETL Glue версии 3.0 или более поздней в тех же регионах Amazon Web Services, что и для типа обработчика G.4X.
Для типа обработчика G.025X каждый обработчик соответствует 0,25 DPU (2 vCPU, 4 ГБ памяти) с диском 84 ГБ и предоставляет 1 исполнитель на обработчик. Мы рекомендуем этот тип обработчика для заданий потоковой обработки с низким объемом. Этот тип обработчика доступен только для заданий потоковой обработки Glue версии 3.0 или более поздней.
Для типа обработчика Z.2X каждый обработчик соответствует 2 M-DPU (8 vCPU, 64 ГБ памяти) с диском 128 ГБ и предоставляет до 8 обработчиков Ray на основе автомасштабирования.

NumberOfWorkers -> (целое число)

Количество обработчиков определенного workerType, выделенных при запуске задания.

SecurityConfiguration -> (строка)

Имя структуры SecurityConfiguration, используемой с этим запуском задания.

LogGroupName -> (строка)

Имя группы журналов для безопасного ведения журнала, которое может быть зашифровано на сервере в Amazon CloudWatch с использованием KMS. Это имя может быть /aws-glue/jobs/, в этом случае шифрование по умолчанию является NONE. Если вы добавите имя роли и SecurityConfiguration (иначе говоря, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), то для шифрования группы журналов используется эта конфигурация безопасности.

NotificationProperty -> (структура)

Указывает конфигурационные свойства уведомления о запуске задания.

NotifyDelayAfter -> (целое число)

После запуска запуска задания количество минут, которые нужно подождать, прежде чем отправлять уведомление о задержке запуска задания.

GlueVersion -> (строка)

В заданиях Spark, GlueVersion определяет версии Apache Spark и Python, доступные в задании Glue. Версия Python указывает версию, поддерживаемую для заданий типа Spark.

Для заданий Ray следует установить GlueVersion на 4.0 или выше. Однако версии Ray, Python и дополнительных библиотек, доступных в вашем задании Ray, определяются параметром Runtime команды задания.

Дополнительную информацию о доступных версиях Glue и соответствующих версиях Spark и Python см. в руководстве для разработчиков в разделе Glue version.

Задания, созданные без указания версии Glue, по умолчанию используют Glue 0.9.

DPUSeconds -> (вещественное число)

Это поле может быть установлено для запусков заданий с классом выполнения FLEX или при включенном автомасштабировании и представляет собой общее время работы каждого исполнителя в течение жизненного цикла запуска задания в секундах, умноженное на коэффициент DPU (1 для G.1X, 2 для G.2X или 0,25 для G.025X обработчиков). Это значение может отличаться от executionEngineRuntime * MaxCapacity, как в случае с заданиями автомасштабирования, так как количество исполнителей, работающих в данный момент, может быть меньше, чем MaxCapacity. Поэтому возможно, что значение DPUSeconds меньше, чем executionEngineRuntime * MaxCapacity.

ExecutionClass -> (строка)

Указывает, выполняется ли задание со стандартным или гибким классом выполнения. Стандартный класс выполнения подходит для задач с жесткими ограничениями по времени, требующих быстрого запуска задания и выделенных ресурсов.

Гибкий класс выполнения подходит для задач, не зависящих от времени, у которых время начала и завершения может меняться.

Только задания с Glue версии 3.0 и выше и типом команды glueetl будут разрешать установку ExecutionClass в FLEX. Гибкий класс выполнения доступен для заданий Spark.

MaintenanceWindow -> (строка)

Это поле указывает день недели и час для окна обслуживания для потоковых задач. Glue периодически выполняет задачи обслуживания. В эти окна обслуживания Glue потребуется перезапустить ваши потоковые задачи.

Glue перезапустит задачу в течение 3 часов с момента указанного окна обслуживания. Например, если вы установите окно обслуживания на понедельник в 10:00 по Гринвичу, ваши задачи будут перезапущены в период с 10:00 по Гринвичу до 13:00 по Гринвичу.

ProfileName -> (строка)

Название профиля использования Glue, связанного с выполнением задачи.

StateDetail -> (строка)

Это поле содержит подробности, относящиеся к состоянию выполнения задачи. Поле может быть пустым.

Например, когда выполнение задачи находится в состоянии ОЖИДАНИЯ в результате очереди задач, поле содержит причину, по которой выполнение задачи находится в этом состоянии.