Spec-Zone.ru › AWS CLI v2

[ aws . glue ]

get-job-runs

Описание

Возвращает метаданные для всех запусков заданного определения задания.

GetJobRuns возвращает запуски заданий в хронологическом порядке, при этом самые новые задания возвращаются первыми.

См. также: Документацию API AWS

get-job-runs — это операция с постраничной загрузкой. Для получения всего набора результатов могут потребоваться несколько вызовов API. Вы можете отключить постраничную загрузку, указав аргумент --no-paginate. При использовании --output text и аргумента --query в ответе с постраничной загрузкой аргумент --query должен извлекать данные из результатов следующих выражений запроса: JobRuns

Синтаксис

  get-job-runs
--job-name <value>
[--cli-input-json | --cli-input-yaml]
[--starting-token <value>]
[--page-size <value>]
[--max-items <value>]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-name (строка)

Имя определения задания, для которого нужно получить все запуски заданий.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному в --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--starting-token (строка)

Маркер для указания места начала постраничной загрузки. Это NextToken из ранее усеченного ответа.

Примеры использования см. в разделе Постраничная загрузка в Руководстве пользователя AWS Command Line Interface.

--page-size (целое число)

Размер каждой страницы для получения в вызове AWS-сервиса. Это не влияет на количество элементов, возвращаемых в выводе команды. Установка меньшего размера страницы приводит к большему количеству вызовов AWS-сервиса, извлекая меньше элементов в каждом вызове. Это может помочь предотвратить истечение времени ожидания вызовов AWS-сервиса.

Примеры использования см. в разделе Постраничная загрузка в Руководстве пользователя AWS Command Line Interface.

--max-items (целое число)

Общее количество элементов для возврата в выводе команды. Если общее количество доступных элементов превышает указанное значение, в выводе команды предоставляется NextToken. Для возобновления постраничной загрузки укажите значение NextToken в аргументе starting-token последующей команды. **Не** используйте элемент ответа NextToken напрямую вне AWS CLI.

Примеры использования см. в разделе Постраничная загрузка в Руководстве пользователя AWS Command Line Interface.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено без значения или со значением input, выводит JSON-образец входных данных, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, оно выведет пример входных данных YAML, которые можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернет JSON-образец выходных данных для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Общие параметры

--debug (логическое значение)

Включить отладочный журнал.

--endpoint-url (строка)

Переопределить URL по умолчанию команды указанным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI проверяет сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную загрузку. Если автоматическая постраничная загрузка отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

  • json
  • text
  • table
  • yaml
  • yaml-stream

--query (строка)

Запрос JMESPath для использования при фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Показать версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

  • on
  • off
  • auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружаться, если этот аргумент предоставлен.

--ca-bundle (строка)

Набор сертификатов CA для использования при проверке сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для использования с двоичными блобами. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI версии 1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить кли-пейджер для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры входных данных CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматический запрос параметров входных данных CLI.

Примеры

Примечание

Для использования следующих примеров необходимо установить и настроить AWS CLI. Дополнительную информацию см. в руководстве по началу работы в Руководстве пользователя AWS CLI.

Если не указано иное, все примеры используют правила цитирования Unix-подобных систем. Эти примеры необходимо адаптировать к правилам цитирования вашей оболочки. См. раздел Использование кавычек со строками в Руководстве пользователя AWS CLI.

Для получения информации обо всех запусках заданий для задания

Следующий get-job-runs пример извлекает информацию о запусках заданий для задания.

aws glue get-job-runs \
    --job-name "my-testing-job"

Вывод:

{
    "JobRuns": [
        {
            "Id": "jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e",
            "Attempt": 0,
            "JobName": "my-testing-job",
            "StartedOn": 1602873931.255,
            "LastModifiedOn": 1602874075.985,
            "CompletedOn": 1602874075.985,
            "JobRunState": "SUCCEEDED",
            "Arguments": {
                "--enable-continuous-cloudwatch-log": "true",
                "--enable-metrics": "",
                "--enable-spark-ui": "true",
                "--job-bookmark-option": "job-bookmark-enable",
                "--spark-event-logs-path": "s3://aws-glue-assets-111122223333-us-east-1/sparkHistoryLogs/"
            },
            "PredecessorRuns": [],
            "AllocatedCapacity": 10,
            "ExecutionTime": 117,
            "Timeout": 2880,
            "MaxCapacity": 10.0,
            "WorkerType": "G.1X",
            "NumberOfWorkers": 10,
            "LogGroupName": "/aws-glue/jobs",
            "GlueVersion": "2.0"
        },
        {
            "Id": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_2",
            "Attempt": 2,
            "PreviousRunId": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_1",
            "JobName": "my-testing-job",
            "StartedOn": 1602811168.496,
            "LastModifiedOn": 1602811282.39,
            "CompletedOn": 1602811282.39,
            "JobRunState": "FAILED",
            "ErrorMessage": "An error occurred while calling o122.pyWriteDynamicFrame.
                Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
                Request ID: 021AAB703DB20A2D;
                S3 Extended Request ID: teZk24Y09TkXzBvMPG502L5VJBhe9DJuWA9/TXtuGOqfByajkfL/Tlqt5JBGdEGpigAqzdMDM/U=)",
            "PredecessorRuns": [],
            "AllocatedCapacity": 10,
            "ExecutionTime": 110,
            "Timeout": 2880,
            "MaxCapacity": 10.0,
            "WorkerType": "G.1X",
            "NumberOfWorkers": 10,
            "LogGroupName": "/aws-glue/jobs",
            "GlueVersion": "2.0"
        },
        {
            "Id": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_1",
            "Attempt": 1,
            "PreviousRunId": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f",
            "JobName": "my-testing-job",
            "StartedOn": 1602811020.518,
            "LastModifiedOn": 1602811138.364,
            "CompletedOn": 1602811138.364,
            "JobRunState": "FAILED",
            "ErrorMessage": "An error occurred while calling o122.pyWriteDynamicFrame.
                 Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
                 Request ID: 2671D37856AE7ABB;
                 S3 Extended Request ID: RLJCJw20brV+PpC6GpORahyF2fp9flB5SSb2bTGPnUSPVizLXRl1PN3QZldb+v1o9qRVktNYbW8=)",
            "PredecessorRuns": [],
            "AllocatedCapacity": 10,
            "ExecutionTime": 113,
            "Timeout": 2880,
            "MaxCapacity": 10.0,
            "WorkerType": "G.1X",
            "NumberOfWorkers": 10,
            "LogGroupName": "/aws-glue/jobs",
            "GlueVersion": "2.0"
        }
    ]
}

Дополнительную информацию см. в разделе Запуска заданий в Руководстве разработчика AWS Glue.

Вывод

JobRuns -> (список)

Список объектов метаданных выполнения задач.

(структура)

Содержит информацию о выполнении задачи.

Id -> (строка)

Идентификатор этого выполнения задачи.

Attempt -> (целое число)

Номер попытки выполнения этой задачи.

PreviousRunId -> (строка)

Идентификатор предыдущего выполнения этой задачи. Например, JobRunId, указанный в действии StartJobRun.

TriggerName -> (строка)

Имя триггера, запустившего это выполнение задачи.

JobName -> (строка)

Имя определения задачи, используемой в этом выполнении.

JobMode -> (строка)

Режим, описывающий способ создания задачи. Допустимые значения:

  • SCRIPT — Задача была создана с помощью редактора сценариев Glue Studio.
  • VISUAL — Задача была создана с помощью визуального редактора Glue Studio.
  • NOTEBOOK — Задача была создана с помощью блокнота интерактивных сессий.

Если поле JobMode отсутствует или равно null, по умолчанию используется значение SCRIPT.

JobRunQueuingEnabled -> (булево)

Указывает, включено ли для выполнения задачи очереди задач.

Значение true означает, что очереди задач включены для данного выполнения задачи. Если значение false или оно не указано, выполнение задачи не будет учитываться в очереди.

StartedOn -> (метка времени)

Дата и время начала выполнения этой задачи.

LastModifiedOn -> (метка времени)

Последнее время изменения этого выполнения задачи.

CompletedOn -> (метка времени)

Дата и время завершения этого выполнения задачи.

JobRunState -> (строка)

Текущее состояние выполнения задачи. Дополнительную информацию о состояниях задач, завершившихся с ошибкой, см. в Glue Job Run Statuses.

Arguments -> (карта)

Аргументы задачи, связанные с этим выполнением. Для этого выполнения они заменяют аргументы по умолчанию, заданные в определении задачи.

Здесь можно указать аргументы, которые использует собственный скрипт выполнения задачи, а также аргументы, используемые самим Glue.

Аргументы задач могут регистрироваться. Не передавайте открытые секреты в качестве аргументов. Извлекайте секреты из подключения Glue, Secrets Manager или другого механизма управления секретами, если вы хотите сохранить их в задаче.

Дополнительную информацию о том, как указать и использовать собственные аргументы задачи, см. в разделе Вызов API Glue на Python в руководстве разработчика.

Дополнительную информацию об аргументах, которые можно указать в этом поле при настройке задач Spark, см. в разделе Специальные параметры, используемые Glue в руководстве разработчика.

Дополнительную информацию об аргументах, которые можно указать в этом поле при настройке задач Ray, см. в разделе Использование параметров задач в задачах Ray в руководстве разработчика.

key -> (строка)

value -> (строка)

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с этим выполнением задачи.

PredecessorRuns -> (список)

Список предшественников этого выполнения задачи.

(структура)

Выполнение задачи, которое использовалось в предикате условного триггера, запустившего это выполнение задачи.

JobName -> (строка)

Имя определения задачи, используемой предшествующим выполнением задачи.

RunId -> (строка)

Идентификатор выполнения предшествующей задачи.

AllocatedCapacity -> (целое число)

Это поле устарело. Используйте MaxCapacity вместо него.

Количество выделенных единиц обработки данных Glue (DPU) для этого выполнения задачи. Можно выделить от 2 до 100 DPU; по умолчанию используется 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

ExecutionTime -> (целое число)

Время (в секундах), которое выполнение задачи использовало ресурсы.

Timeout -> (целое число)

Таймаут в минутах для JobRun. Это максимальное время, которое выполнение задачи может использовать ресурсы, прежде чем оно будет завершено и перейдет в состояние TIMEOUT. Это значение переопределяет значение таймаута, заданное в родительской задаче.

Значения таймаута для задач должны быть меньше 7 дней или 10080 минут. В противном случае задачи сгенерируют исключение.

Если значение не указано, таймаут по умолчанию составляет 2880 минут.

Для существующих задач Glue с таймаутом более 7 дней по умолчанию используется 7 дней. Например, если вы указали таймаут в 20 дней для задачи пакетной обработки, она будет остановлена на 7-й день.

Для потоковых задач, если вы настроили окно обслуживания, оно будет перезапущено в течение окна обслуживания через 7 дней.

MaxCapacity -> (двойное)

Для задач Glue версии 1.0 или более ранних, использующих стандартный тип рабочих узлов, количество единиц обработки данных Glue (DPU), которые могут быть выделены при выполнении этой задачи. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

Для задач Glue версии 2.0+ нельзя указать Maximum capacity. Вместо этого следует указать Worker type и Number of workers.

Не устанавливайте MaxCapacity, если используются WorkerType и NumberOfWorkers.

Выделяемое значение для MaxCapacity зависит от того, запускаете ли вы задачу Python shell, задачу Apache Spark ETL или задачу Apache Spark streaming ETL:

  • При указании задачи Python shell (JobCommand.Name =”pythonshell”), можно выделить 0,0625 или 1 DPU. По умолчанию используется 0,0625 DPU.
  • При указании задачи Apache Spark ETL (JobCommand.Name =”glueetl”) или задачи Apache Spark streaming ETL (JobCommand.Name =”gluestreaming”), можно выделить от 2 до 100 DPU. По умолчанию используется 10 DPU. Для этого типа задач не допускается дробное выделение DPU.

WorkerType -> (строка)

Тип предопределенного рабочего узла, который выделяется при выполнении задачи. Принимает значения G.1X, G.2X, G.4X, G.8X или G.025X для задач Spark. Принимает значение Z.2X для задач Ray.

  • Для типа рабочих узлов G.1X каждый рабочий узел соответствует 1 DPU (4 vCPU, 16 ГБ памяти) с диском 94 ГБ и предоставляет 1 исполняющий узел на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, таких как преобразования данных, объединения и запросы, чтобы обеспечить масштабируемый и экономичный способ выполнения большинства задач.
  • Для типа рабочих узлов G.2X каждый рабочий узел соответствует 2 DPU (8 vCPU, 32 ГБ памяти) с диском 138 ГБ и предоставляет 1 исполняющий узел на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, таких как преобразования данных, объединения и запросы, чтобы обеспечить масштабируемый и экономичный способ выполнения большинства задач.
  • Для типа рабочих узлов G.4X каждый рабочий узел соответствует 4 DPU (16 vCPU, 64 ГБ памяти) с диском 256 ГБ и предоставляет 1 исполняющий узел на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, чьи рабочие нагрузки содержат самые сложные преобразования, агрегации, объединения и запросы. Этот тип рабочих узлов доступен только для задач Spark ETL Glue версии 3.0 и выше в следующих регионах Amazon Web Services: США (Огайо), США (Северная Вирджиния), США (Орегон), Азия-Тихий океан (Сингапур), Азия-Тихий океан (Сидней), Азия-Тихий океан (Токио), Канада (Центральная часть), Европа (Франкфурт), Европа (Ирландия), и Европа (Стокгольм).
  • Для типа рабочих узлов G.8X каждый рабочий узел соответствует 8 DPU (32 vCPU, 128 ГБ памяти) с диском 512 ГБ и предоставляет 1 исполняющий узел на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, чьи рабочие нагрузки содержат самые сложные преобразования, агрегации, объединения и запросы. Этот тип рабочих узлов доступен только для задач Spark ETL Glue версии 3.0 и выше в тех же регионах Amazon Web Services, что и для типа рабочих узлов G.4X.
  • Для типа рабочих узлов G.025X каждый рабочий узел соответствует 0,25 DPU (2 vCPU, 4 ГБ памяти) с диском 84 ГБ и предоставляет 1 исполняющий узел на рабочий узел. Мы рекомендуем этот тип рабочих узлов для потоковых задач с низким объемом. Этот тип рабочих узлов доступен только для потоковых задач Glue версии 3.0 и выше.
  • Для типа рабочих узлов Z.2X каждый рабочий узел соответствует 2 M-DPU (8 vCPU, 64 ГБ памяти) с диском 128 ГБ и предоставляет до 8 рабочих узлов Ray на основе автомасштабирования.

NumberOfWorkers -> (целое число)

Количество рабочих узлов определенного workerType, выделенных при запуске задачи.

SecurityConfiguration -> (строка)

Имя структуры SecurityConfiguration, которая будет использоваться с этим выполнением задачи.

LogGroupName -> (строка)

Имя группы журналов для безопасной регистрации, которая может быть зашифрована на стороне сервера в Amazon CloudWatch с использованием KMS. Это имя может быть /aws-glue/jobs/, в этом случае шифрование по умолчанию — NONE. Если вы добавите имя роли и имя SecurityConfiguration (другими словами, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), то для шифрования группы журналов используется данная конфигурация безопасности.

NotificationProperty -> (структура)

Указывает конфигурационные свойства уведомления о выполнении задачи.

NotifyDelayAfter -> (целое число)

Количество минут ожидания отправки уведомления о задержке выполнения задачи после запуска выполнения задачи.

GlueVersion -> (строка)

В задачах Spark, GlueVersion определяет версии Apache Spark и Python, доступные Glue в задаче. Версия Python указывает поддерживаемую версию для задач типа Spark.

Задачи Ray должны установить GlueVersion на 4.0 или выше. Однако версии Ray, Python и дополнительных библиотек, доступных в вашей задаче Ray, определяются параметром Runtime команды задачи.

Дополнительную информацию о доступных версиях Glue и соответствующих версиях Spark и Python см. в руководстве разработчика по версии Glue.

Задачи, созданные без указания версии Glue, по умолчанию используют Glue 0.9.

DPUSeconds -> (двойное)

Это поле можно задать для задач с классом выполнения FLEX или при включенном автомасштабировании, и оно представляет общее время, в секундах, которое каждый исполняющий узел работал в течение жизненного цикла выполнения задачи, умноженное на коэффициент DPU (1 для G.1X, 2 для G.2X или 0,25 для рабочих узлов G.025X). Это значение может отличаться от значения executionEngineRuntime * MaxCapacity, как в случае задач автомасштабирования, так как количество работающих исполняющих узлов в данный момент может быть меньше, чем MaxCapacity. Поэтому возможно, что значение DPUSeconds меньше, чем executionEngineRuntime * MaxCapacity.

ExecutionClass -> (строка)

Указывает, запущена ли задача со стандартным или гибким классом выполнения. Стандартный класс выполнения идеально подходит для задач с жесткими временными ограничениями, которые требуют быстрого запуска задачи и выделенных ресурсов.

Гибкий класс выполнения подходит для задач без жестких временных ограничений, время запуска и завершения которых может меняться.

Только задачи с версией Glue 3.0 и выше и типом команды glueetl смогут установить ExecutionClass на FLEX. Гибкий класс выполнения доступен для задач Spark.

MaintenanceWindow -> (строка)

Это поле указывает день недели и час для окна обслуживания потоковых заданий. Glue периодически выполняет задачи по обслуживанию. В эти окна обслуживания Glue потребуется перезапустить ваши потоковые задания.

Glue перезапустит задание в течение 3 часов с момента указанного окна обслуживания. Например, если вы настроили окно обслуживания на понедельник в 10:00 по Гринвичу, ваши задания будут перезапущены между 10:00 по Гринвичу и 13:00 по Гринвичу.

ProfileName -> (строка)

Имя профиля использования Glue, связанного с запуском задания.

StateDetail -> (строка)

Это поле содержит детали, относящиеся к состоянию запуска задания. Поле может быть нулевым.

Например, когда запуск задания находится в состоянии ОЖИДАНИЯ в результате очереди запуска задания, поле содержит причину, по которой запуск задания находится в этом состоянии.

NextToken -> (строка)

Маркер продолжения, если не все запрошенные запуски заданий возвращены.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API