get-workflow

Описание

Извлекает метаданные ресурса для рабочего процесса.

См. также: Документацию API AWS

Синтаксис

  get-workflow
--name <value>
[--include-graph | --no-include-graph]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--name (строка)

Имя рабочего процесса для извлечения.

--include-graph | --no-include-graph (логическое значение)

Указывает, следует ли включать график при возвращении метаданных ресурса рабочего процесса.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения, используя значение, предоставленное JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. При отсутствии значения или значении input, выводит JSON-пример входных данных, который может быть использован в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет напечатан пример входных данных YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команды и возвращает пример выходных данных JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включает отладочную запись в журнал.

--endpoint-url (строка)

Переопределяет URL по умолчанию команды на предоставленный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение по умолчанию проверки SSL-сертификатов.

--no-paginate (логическое значение)

Отключает автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Используемый регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включает/отключает цветной вывод.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Пакет сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения к сокету в секундах. Если значение установлено в 0, подключение к сокету будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строкой base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, отображающего двоичный блок fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую, независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить кли-паджер для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматический запрос параметров CLI.

Вывод

Поток работ -> (структура)

Метаданные ресурса для потока работ.

Имя -> (строка)

Имя потока работ.

Описание -> (строка)

Описание потока работ.

DefaultRunProperties -> (массив)

Коллекция свойств, используемых в каждом выполнении потока работ. Свойства выполнения доступны для каждой задачи в потоке работ. Задача может изменить свойства для последующих задач в потоке.

ключ -> (строка)

значение -> (строка)

Создано -> (метка времени)

Дата и время создания потока работ.

Последнее изменение -> (метка времени)

Дата и время последнего изменения потока работ.

Последнее выполнение -> (структура)

Информация о последнем выполнении потока работ.

Имя -> (строка)

Имя выполненного потока работ.

Id выполнения потока работ -> (строка)

Идентификатор этого выполнения потока работ.

Id предыдущего выполнения -> (строка)

Идентификатор предыдущего выполнения потока работ.

WorkflowRunProperties -> (массив)

Свойства выполнения потока работ, установленные во время выполнения.

ключ -> (строка)

значение -> (строка)

Начало -> (метка времени)

Дата и время начала выполнения потока работ.

Завершение -> (метка времени)

Дата и время завершения выполнения потока работ.

Статус -> (строка)

Статус выполнения потока работ.

Сообщение об ошибке -> (строка)

Это сообщение об ошибке описывает любую ошибку, которая могла произойти при запуске выполнения потока работ. В настоящее время единственное сообщение об ошибке — «Превышено количество одновременных запусков для потока работ: foo».

Статистика -> (структура)

Статистика выполнения.

Общее количество действий -> (целое число)

Общее количество действий в выполнении потока работ.

Действия с превышением времени ожидания -> (целое число)

Общее количество действий, которые истекли по времени ожидания.

Неудачные действия -> (целое число)

Общее количество действий, которые завершились неудачно.

Остановленные действия -> (целое число)

Общее количество действий, которые были остановлены.

Успешные действия -> (целое число)

Общее количество действий, которые были выполнены успешно.

Действия в процессе -> (целое число)

Общее количество действий в состоянии выполнения.

Действия с ошибками -> (целое число)

Указывает количество запусков задач в состоянии ОШИБКА в выполнении потока работ.

Ожидающие действия -> (целое число)

Указывает количество запусков задач в состоянии ОЖИДАНИЕ в выполнении потока работ.

Граф -> (структура)

Граф, представляющий все компоненты Glue, принадлежащие потоку работ, как узлы и направленные связи между ними как ребра.

Узлы -> (список)

Список компонентов Glue, принадлежащих потоку работ, представленных как узлы.

(структура)

Узел представляет собой компонент Glue (триггер, кроулер или задача) на графе потока работ.

Тип -> (строка)

Тип компонента Glue, представленного узлом.

Имя -> (строка)

Имя компонента Glue, представленного узлом.

Уникальный идентификатор -> (строка)

Уникальный идентификатор, назначенный узлу в рамках потока работ.

Подробности триггера -> (структура)

Подробности триггера, когда узел представляет триггер.

Триггер -> (структура)

Информация о триггере, представленном узлом триггера.

Имя -> (строка)

Имя триггера.

Имя потока работ -> (строка)

Имя потока работ, связанного с триггером.

Id -> (строка)

Зарезервировано для будущего использования.

Тип -> (строка)

Тип триггера.

Состояние -> (строка)

Текущее состояние триггера.

Описание -> (строка)

Описание этого триггера.

Расписание -> (строка)

cron выражение, используемое для указания расписания (см. Расписания по времени для задач и кроулеров. Например, чтобы запустить что-то каждый день в 12:15 по UTC, вы должны указать: cron(15 12 * * ? *) .

Действия -> (список)

Действия, инициированные этим триггером.

(структура)

Определяет действие, которое должно быть инициировано триггером.

Имя задачи -> (строка)

Имя задачи, которая должна быть запущена.

Аргументы -> (массив)

Аргументы задачи, используемые при срабатывании этого триггера. Для этого выполнения задачи они заменяют аргументы по умолчанию, установленные в определении задачи.

Вы можете указать здесь аргументы, которые потребляет ваша собственная сценарий выполнения задачи, а также аргументы, которые потребляет сам Glue.

Дополнительную информацию о том, как указать и использовать свои собственные аргументы задачи, см. в разделе Вызов API Glue на Python в руководстве разработчика.

Дополнительную информацию о парах ключ-значение, используемых Glue для настройки вашей задачи, см. в разделе Специальные параметры, используемые Glue в руководстве разработчика.

ключ -> (строка)

значение -> (строка)

Время ожидания -> (целое число)

JobRun время ожидания в минутах. Это максимальное время, которое запуск задачи может потреблять ресурсы, прежде чем он будет завершен и перейдет в состояние TIMEOUT. Это переопределяет значение времени ожидания, установленное в родительской задаче.

Задачи должны иметь значения времени ожидания менее 7 дней или 10080 минут. В противном случае задачи сгенерируют исключение.

Если значение не указано, время ожидания по умолчанию составляет 2880 минут.

Все существующие задачи Glue, у которых значение времени ожидания было больше 7 дней, будут установлены по умолчанию на 7 дней. Например, если вы указали время ожидания 20 дней для пакетной задачи, она будет остановлена на 7-й день.

Для задач потокового типа, если вы настроили окно обслуживания, оно будет перезапущено в течение окна обслуживания после 7 дней.

Настройка безопасности -> (строка)

Имя структуры SecurityConfiguration, которая должна использоваться с этим действием.

Свойство уведомления -> (структура)

Указывает конфигурационные свойства уведомления о запуске задачи.

Задержка уведомления после -> (целое число)

Через сколько минут после запуска выполнения задачи следует отправить уведомление о задержке выполнения задачи.

Имя кроулера -> (строка)

Имя кроулера, который должен использоваться с этим действием.

Предикат -> (структура)

Предикат этого триггера, определяющий, когда он сработает.

Логический -> (строка)

Необязательное поле, если указано только одно условие. Если указано несколько условий, это поле обязательно.

Условия -> (список)

Список условий, определяющих, когда сработает триггер.

(структура)

Определяет условие, при котором сработает триггер.

Логический оператор -> (строка)

Логический оператор.

Имя задачи -> (строка)

Имя задачи, к которой относится это условие, и на которой этот триггер ожидает.

Состояние -> (строка)

Состояние условия. В настоящее время единственные состояния задач, на которые может подписываться триггер, — это SUCCEEDED , STOPPED , FAILED и TIMEOUT . Единственные состояния кроулера, на которые может подписываться триггер, — это SUCCEEDED , FAILED и CANCELLED .

Имя кроулера -> (строка)

Имя кроулера, к которому относится это условие.

Состояние кроулера -> (строка)

Состояние кроулера, к которому относится это условие.

Условие пакетной обработки событий -> (структура)

Условие пакетной обработки, которое должно быть выполнено (получено указанное количество событий или истекло временное окно пакетной обработки), прежде чем триггер событий EventBridge сработает.

Размер пакета -> (целое число)

Количество событий, которые должны быть получены из Amazon EventBridge, прежде чем триггер событий EventBridge сработает.

Временное окно пакета -> (целое число)

Временное окно в секундах, по истечении которого триггер событий EventBridge сработает. Отсчет времени начинается с момента получения первого события.

Подробности задачи -> (структура)

Подробности задачи, когда узел представляет задачу.

Запуски задач -> (список)

Информация о запусках задач, представленных узлом задачи.

(структура)

Содержит информацию о запуске задачи.

Id -> (строка)

Идентификатор этого запуска задачи.

Attempt -> (целое число)

Номер попытки запустить эту задачу.

PreviousRunId -> (строка)

Идентификатор предыдущего запуска этой задачи. Например, JobRunId, указанный в действии StartJobRun.

TriggerName -> (строка)

Название триггера, который запустил этот запуск задачи.

JobName -> (строка)

Название определения задачи, используемой в этом запуске.

JobMode -> (строка)

Режим, описывающий способ создания задачи. Допустимые значения:

SCRIPT - Задача была создана с помощью редактора сценариев Glue Studio.
VISUAL - Задача была создана с помощью визуального редактора Glue Studio.
NOTEBOOK - Задача была создана с помощью блокнота интерактивных сеансов.

Если поле JobMode отсутствует или имеет значение null, по умолчанию устанавливается значение SCRIPT.

JobRunQueuingEnabled -> (логическое значение)

Указывает, включена ли очередность запуска задач для запуска задачи.

Значение true означает, что очередность запуска задач включена для запуска задачи. Если значение false или поле не заполнено, запуск задачи не будет учтен для очереди.

StartedOn -> (отметка времени)

Дата и время начала этого запуска задачи.

LastModifiedOn -> (отметка времени)

Последнее время изменения этого запуска задачи.

CompletedOn -> (отметка времени)

Дата и время завершения этого запуска задачи.

JobRunState -> (строка)

Текущее состояние запуска задачи. Дополнительную информацию о статусах задач, завершившихся аномально, см. в Glue Job Run Statuses.

Arguments -> (карта)

Аргументы задачи, связанные с этим запуском. Для этого запуска задачи они заменяют аргументы по умолчанию, установленные в определении задачи.

Вы можете указать здесь аргументы, используемые собственным скриптом выполнения задачи, а также аргументы, используемые самим Glue.

Аргументы задачи могут регистрироваться. Не передавайте секреты в открытом виде в качестве аргументов. Получайте секреты из подключения Glue, Secrets Manager или другого механизма управления секретами, если вы хотите хранить их в рамках задачи.

Дополнительную информацию о том, как указывать и использовать собственные аргументы задачи, см. в разделе Вызов API Glue в Python в руководстве разработчика.

Дополнительную информацию об аргументах, которые можно указать в этом поле при конфигурировании задач Spark, см. в разделе Специальные параметры, используемые Glue в руководстве разработчика.

Дополнительную информацию об аргументах, которые можно указать в этом поле при конфигурировании задач Ray, см. в разделе Использование параметров задач в задачах Ray в руководстве разработчика.

ключ -> (строка)

значение -> (строка)

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с этим запуском задачи.

PredecessorRuns -> (список)

Список предшественников этого запуска задачи.

(структура)

Запуск задачи, который использовался в предикате условного триггера, который запустил этот запуск задачи.

JobName -> (строка)

Название определения задачи, используемой предшествующим запуском задачи.

RunId -> (строка)

Идентификатор запуска предшествующей задачи.

AllocatedCapacity -> (целое число)

Это поле устарело. Используйте MaxCapacity вместо него.

Количество единиц обработки данных Glue (DPU), выделенных для этого запуска задачи. Можно выделить от 2 до 100 DPU; по умолчанию используется 10. DPU — это относительная мера вычислительной мощности, которая состоит из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

ExecutionTime -> (целое число)

Время (в секундах), которое запуск задачи потреблял ресурсы.

Timeout -> (целое число)

Таймаут JobRun в минутах. Это максимальное время, которое запуск задачи может потреблять ресурсы, прежде чем он будет завершен и перейдет в состояние TIMEOUT. Это значение переопределяет значение таймаута, заданное в родительской задаче.

Задачи должны иметь значения таймаута меньше 7 дней или 10080 минут. В противном случае задачи вызовут исключение.

Если значение не указано, таймаут по умолчанию составляет 2880 минут.

Все существующие задачи Glue, у которых значение таймаута превышало 7 дней, будут по умолчанию установлены на 7 дней. Например, если вы задали таймаут 20 дней для задачи пакетной обработки, она будет остановлена на 7-й день.

Для задач потоковой обработки, если вы настроили окно обслуживания, оно будет перезапущено в окне обслуживания после 7 дней.

MaxCapacity -> (двойное число)

Для задач Glue версии 1.0 или более ранней, использующих стандартный тип рабочих узлов, количество единиц обработки данных Glue (DPU), которые могут быть выделены при выполнении этой задачи. DPU — это относительная мера вычислительной мощности, которая состоит из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

Для задач Glue версии 2.0 и выше нельзя указать Maximum capacity. Вместо этого вы должны указать Worker type и Number of workers.

Не устанавливайте MaxCapacity, если используете WorkerType и NumberOfWorkers.

Значение, которое можно выделить для MaxCapacity, зависит от того, выполняете ли вы задачу Python shell, задачу Apache Spark ETL или задачу Apache Spark потоковой ETL:

При указании задачи Python shell (JobCommand.Name =”pythonshell”) можно выделить 0,0625 или 1 DPU. По умолчанию используется 0,0625 DPU.
При указании задачи Apache Spark ETL (JobCommand.Name =”glueetl”) или задачи Apache Spark потоковой ETL (JobCommand.Name =”gluestreaming”) можно выделить от 2 до 100 DPU. По умолчанию используется 10 DPU. Для этого типа задач нельзя выделять дробную часть DPU.

WorkerType -> (строка)

Тип предопределенного рабочего узла, который выделяется при запуске задачи. Принимает значения G.1X, G.2X, G.4X, G.8X или G.025X для задач Spark. Принимает значение Z.2X для задач Ray.

Для типа рабочих узлов G.1X каждый рабочий узел соответствует 1 DPU (4 vCPU, 16 ГБ памяти) с диском 94 ГБ и предоставляет 1 исполнитель на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, таких как преобразования данных, объединения и запросы, чтобы предложить масштабируемый и экономичный способ выполнения большинства задач.
Для типа рабочих узлов G.2X каждый рабочий узел соответствует 2 DPU (8 vCPU, 32 ГБ памяти) с диском 138 ГБ и предоставляет 1 исполнитель на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, таких как преобразования данных, объединения и запросы, чтобы предложить масштабируемый и экономичный способ выполнения большинства задач.
Для типа рабочих узлов G.4X каждый рабочий узел соответствует 4 DPU (16 vCPU, 64 ГБ памяти) с диском 256 ГБ и предоставляет 1 исполнитель на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, чьи рабочие нагрузки включают наиболее сложные преобразования, агрегации, объединения и запросы. Этот тип рабочих узлов доступен только для задач Spark ETL Glue версии 3.0 и более поздних в следующих регионах Amazon Web Services: США (Огайо), США (Северная Вирджиния), США (Орегон), Азиатско-Тихоокеанский регион (Сингапур), Азиатско-Тихоокеанский регион (Сидней), Азиатско-Тихоокеанский регион (Токио), Канада (Центр), Европа (Франкфурт), Европа (Ирландия) и Европа (Стокгольм).
Для типа рабочих узлов G.8X каждый рабочий узел соответствует 8 DPU (32 vCPU, 128 ГБ памяти) с диском 512 ГБ и предоставляет 1 исполнитель на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач, чьи рабочие нагрузки включают наиболее сложные преобразования, агрегации, объединения и запросы. Этот тип рабочих узлов доступен только для задач Spark ETL Glue версии 3.0 и более поздних в тех же регионах Amazon Web Services, что и для типа рабочих узлов G.4X.
Для типа рабочих узлов G.025X каждый рабочий узел соответствует 0,25 DPU (2 vCPU, 4 ГБ памяти) с диском 84 ГБ и предоставляет 1 исполнитель на рабочий узел. Мы рекомендуем этот тип рабочих узлов для задач потоковой обработки с низким объемом. Этот тип рабочих узлов доступен только для задач потоковой обработки Glue версии 3.0 и более поздних.
Для типа рабочих узлов Z.2X каждый рабочий узел соответствует 2 M-DPU (8 vCPU, 64 ГБ памяти) с диском 128 ГБ и предоставляет до 8 рабочих узлов Ray на основе автоматического масштабирования.

NumberOfWorkers -> (целое число)

Количество рабочих узлов определенного workerType, которые выделяются при запуске задачи.

SecurityConfiguration -> (строка)

Имя структуры SecurityConfiguration, используемой с этим запуском задачи.

LogGroupName -> (строка)

Имя группы журналов для безопасной регистрации, которая может быть зашифрована на стороне сервера в Amazon CloudWatch с помощью KMS. Это имя может быть /aws-glue/jobs/, в этом случае шифрование по умолчанию — NONE. Если вы добавите имя роли и имя SecurityConfiguration (другими словами, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), для шифрования группы журналов используется эта конфигурация безопасности.

NotificationProperty -> (структура)

Указывает конфигурационные свойства уведомления о запуске задачи.

NotifyDelayAfter -> (целое число)

Количество минут ожидания отправки уведомления о задержке запуска задачи после начала запуска задачи.

GlueVersion -> (строка)

В задачах Spark, GlueVersion определяет версии Apache Spark и Python, доступные в задаче Glue. Версия Python указывает поддерживаемую версию для задач типа Spark.

Задачи Ray должны установить GlueVersion на 4.0 или выше. Однако версии Ray, Python и дополнительных библиотек, доступных в вашей задаче Ray, определяются параметром Runtime команды задачи.

Дополнительную информацию о доступных версиях Glue и соответствующих версиях Spark и Python см. в разделе Версия Glue в руководстве разработчика.

Задачи, созданные без указания версии Glue, по умолчанию используют Glue 0.9.

DPUSeconds -> (двойное число)

Это поле может быть установлено для запусков задач с классом выполнения FLEX или при включенном автоматическом масштабировании и представляет собой общее время работы каждого исполнителя в течение жизненного цикла запуска задачи в секундах, умноженное на коэффициент DPU (1 для G.1X, 2 для G.2X или 0,25 для G.025X рабочих узлов). Это значение может отличаться от executionEngineRuntime * MaxCapacity, как в случае задач с автоматическим масштабированием, так как количество работающих исполнителей в определенный момент может быть меньше MaxCapacity. Поэтому возможно, что значение DPUSeconds меньше, чем executionEngineRuntime * MaxCapacity.

ExecutionClass -> (строка)

Указывает, выполняется ли задача со стандартным или гибким классом выполнения. Стандартный класс выполнения идеально подходит для задач с жесткими временными требованиями, которым требуются быстрое начало работы и выделенные ресурсы.

Гибкий класс выполнения подходит для задач, не зависящих от времени, чьи время начала и завершения могут изменяться.

Только задачи с Glue версии 3.0 и выше и типом команды glueetl разрешено установить ExecutionClass на значение FLEX. Гибкий класс выполнения доступен для задач Spark.

MaintenanceWindow -> (строка)

Это поле определяет день недели и час для окна технического обслуживания для потоковых заданий. Glue периодически выполняет задачи технического обслуживания. В эти окна технического обслуживания Glue потребуется перезапустить ваши потоковые задания.

Glue перезапустит задание в течение 3 часов с момента указанного окна технического обслуживания. Например, если вы настроили окно технического обслуживания на понедельник в 10:00 по Гринвичу, ваши задания будут перезапущены между 10:00 по Гринвичу и 13:00 по Гринвичу.

ProfileName -> (строка)

Название профиля использования Glue, связанного с запуском задания.

StateDetail -> (строка)

Это поле содержит подробную информацию о состоянии запуска задания. Поле может быть пустым.

Например, когда запуск задания находится в состоянии ожидания в результате очереди запуска задания, поле содержит причину, по которой запуск задания находится в этом состоянии.

CrawlerDetails -> (структура)

Подробная информация о ползунке, когда узел представляет ползунок.

Crawls -> (список)

Список ползунков, представленных узлом ползунка.

(структура)

Подробности ползунка в рабочем процессе.

State -> (строка)

Состояние ползунка.

StartedOn -> (отметка времени)

Дата и время начала ползунка.

CompletedOn -> (отметка времени)

Дата и время завершения ползунка.

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с ползунком.

LogGroup -> (строка)

Группа журналов, связанная с ползунком.

LogStream -> (строка)

Поток журналов, связанный с ползунком.

Edges -> (список)

Список всех направленных соединений между узлами, принадлежащими рабочему процессу.

(структура)

Ребро представляет собой направленное соединение между двумя компонентами Glue, которые являются частью рабочего процесса, к которому относится ребро.

SourceId -> (строка)

Уникальный идентификатор узла в рабочем процессе, где начинается ребро.

DestinationId -> (строка)

Уникальный идентификатор узла в рабочем процессе, где заканчивается ребро.

StartingEventBatchCondition -> (структура)

Условие пакетной обработки, которое запустило запуск рабочего процесса.

BatchSize -> (целое число)

Количество событий в пакете.

BatchWindow -> (целое число)

Продолжительность окна пакетной обработки в секундах.

Graph -> (структура)

Граф, представляющий все компоненты Glue, которые принадлежат рабочему процессу, как узлы, и направленные соединения между ними как ребра.

Nodes -> (список)

Список компонентов Glue, принадлежащих рабочему процессу, представленных в виде узлов.

(структура)

Узел представляет собой компонент Glue (триггер, ползунок или задание) на графике рабочего процесса.

Type -> (строка)

Тип компонента Glue, представленного узлом.

Name -> (строка)

Имя компонента Glue, представленного узлом.

UniqueId -> (строка)

Уникальный идентификатор, назначенный узлу в рабочем процессе.

TriggerDetails -> (структура)

Подробности триггера, когда узел представляет собой триггер.

Trigger -> (структура)

Информация о триггере, представленном узлом триггера.

Name -> (строка)

Имя триггера.

WorkflowName -> (строка)

Имя рабочего процесса, связанного с триггером.

Id -> (строка)

Зарезервировано для будущего использования.

Type -> (строка)

Тип триггера.

State -> (строка)

Текущее состояние триггера.

Description -> (строка)

Описание этого триггера.

Schedule -> (строка)

Выражение cron, используемое для указания расписания (см. Расписания по времени для заданий и ползунков. Например, чтобы выполнить что-то каждый день в 12:15 по UTC, укажите: cron(15 12 * * ? *) .

Actions -> (список)

Действия, инициированные этим триггером.

(структура)

Определяет действие, которое должно быть инициировано триггером.

JobName -> (строка)

Имя задания, которое нужно выполнить.

Arguments -> (карта)

Аргументы задания, используемые при запуске этого триггера. Для этого запуска задания они заменяют значения по умолчанию, заданные в определении задания.

Вы можете указать здесь аргументы, которые использует ваша собственная программа выполнения задания, а также аргументы, которые использует сам Glue.

Дополнительную информацию о том, как указать и использовать свои собственные аргументы задания, см. в разделе Вызов API Glue на Python в руководстве для разработчиков.

Дополнительную информацию о парах ключ-значение, которые использует Glue для настройки вашего задания, см. в разделе Специальные параметры, используемые Glue в руководстве для разработчиков.

key -> (строка)

value -> (строка)

Timeout -> (целое число)

Таймаут JobRun в минутах. Это максимальное время, в течение которого запуск задания может использовать ресурсы, прежде чем он будет завершен и перейдет в состояние TIMEOUT. Это переопределяет значение таймаута, заданное в родительском задании.

Значения таймаута заданий должны быть меньше 7 дней или 10080 минут. В противном случае задания выбросят исключение.

Если значение опущено, таймаут по умолчанию составляет 2880 минут.

Любые существующие задания Glue, у которых значение таймаута было больше 7 дней, будут установлены по умолчанию на 7 дней. Например, если вы указали таймаут в 20 дней для задания пакетной обработки, оно будет остановлено на 7-й день.

Для потоковых заданий, если вы настроили окно технического обслуживания, оно будет перезапущено в течение окна технического обслуживания после 7 дней.

SecurityConfiguration -> (строка)

Имя SecurityConfiguration структуры, которая должна использоваться с этим действием.

NotificationProperty -> (структура)

Устанавливает свойства конфигурации уведомления о запуске задания.

NotifyDelayAfter -> (целое число)

После запуска запуска задания количество минут, которые необходимо подождать, прежде чем отправлять уведомление о задержке запуска задания.

CrawlerName -> (строка)

Имя ползунка, которое нужно использовать с этим действием.

Predicate -> (структура)

Предикат этого триггера, определяющий, когда он будет запущен.

Logical -> (строка)

Необязательное поле, если указано только одно условие. Если указано несколько условий, это поле обязательно.

Conditions -> (список)

Список условий, определяющих, когда триггер будет запущен.

(структура)

Определяет условие, при котором срабатывает триггер.

LogicalOperator -> (строка)

Логический оператор.

JobName -> (строка)

Имя задания, к которому относится это условие, и в ожидании которого этот триггер.

State -> (строка)

Состояние условия. В настоящее время единственными состояниями заданий, на которые может подписываться триггер, являются SUCCEEDED , STOPPED , FAILED и TIMEOUT . Единственными состояниями ползунков, на которые может подписываться триггер, являются SUCCEEDED , FAILED и CANCELLED .

CrawlerName -> (строка)

Имя ползунка, к которому относится это условие.

CrawlState -> (строка)

Состояние ползунка, к которому относится это условие.

EventBatchingCondition -> (структура)

Условие пакетной обработки, которое должно быть выполнено (указанное количество полученных событий или истечение окна времени пакетной обработки) перед срабатыванием триггера события EventBridge.

BatchSize -> (целое число)

Количество событий, которые должны быть получены от Amazon EventBridge, прежде чем триггер события EventBridge сработает.

BatchWindow -> (целое число)

Длительность окна времени в секундах, по истечении которого триггер события EventBridge срабатывает. Окно времени начинается с момента получения первого события.

JobDetails -> (структура)

Подробности задания, когда узел представляет собой задание.

JobRuns -> (список)

Информация о запусках задания, представленных узлом задания.

(структура)

Содержит информацию о выполнении задания.

Id -> (строка)

Идентификатор этого выполнения задания.

Attempt -> (целое число)

Номер попытки выполнить это задание.

PreviousRunId -> (строка)

Идентификатор предыдущего выполнения этого задания. Например, JobRunId, указанный в действии StartJobRun.

TriggerName -> (строка)

Имя триггера, который запустил это выполнение задания.

JobName -> (строка)

Имя определения задания, используемого в этом выполнении.

JobMode -> (строка)

Режим, описывающий способ создания задания. Допустимые значения:

SCRIPT - Задание было создано с помощью редактора сценариев Glue Studio.
VISUAL - Задание было создано с помощью визуального редактора Glue Studio.
NOTEBOOK - Задание было создано с помощью ноутбука интерактивных сеансов.

Если поле JobMode отсутствует или имеет значение null, по умолчанию используется SCRIPT.

JobRunQueuingEnabled -> (булево)

Указывает, включено ли очередирование выполнения задания для этого выполнения.

Значение true означает, что очередирование выполнения задания включено для этого выполнения. Если значение false или поле не заполнено, выполнение задания не будет учитываться для очередирования.

StartedOn -> (временная метка)

Дата и время запуска этого выполнения задания.

LastModifiedOn -> (временная метка)

Последнее время изменения этого выполнения задания.

CompletedOn -> (временная метка)

Дата и время завершения этого выполнения задания.

JobRunState -> (строка)

Текущее состояние выполнения задания. Дополнительную информацию о статусах заданий, завершившихся с ошибками, см. в разделе Статусы выполнения заданий Glue .

Arguments -> (отображение)

Аргументы задания, связанные с этим выполнением. Для этого выполнения задания они заменяют аргументы по умолчанию, установленные в определении задания.

Здесь можно указать аргументы, которые использует собственный сценарий выполнения задания, а также аргументы, которые использует сам Glue.

Аргументы задания могут быть записаны в журнал. Не передавайте открытые секреты в качестве аргументов. Извлекайте секреты из подключения Glue, Secrets Manager или другого механизма управления секретами, если вы хотите хранить их в задании.

Сведения о том, как указывать и использовать собственные аргументы задания, см. в разделе Вызов API Glue на языке Python в руководстве разработчика.

Сведения об аргументах, которые можно указать для этого поля при конфигурации заданий Spark, см. в разделе Специальные параметры, используемые Glue в руководстве разработчика.

Сведения об аргументах, которые можно указать для этого поля при конфигурации заданий Ray, см. в разделе Использование параметров задания в заданиях Ray в руководстве разработчика.

ключ -> (строка)

значение -> (строка)

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с этим выполнением задания.

PredecessorRuns -> (список)

Список предшественников этого выполнения задания.

(структура)

Выполнение задания, которое использовалось в предикате условного триггера, запустившего это выполнение задания.

JobName -> (строка)

Имя определения задания, используемого предшествующим выполнением задания.

RunId -> (строка)

Идентификатор выполнения предшествующего задания.

AllocatedCapacity -> (целое число)

Это поле устарело. Используйте MaxCapacity вместо него.

Количество единиц обработки данных Glue (DPU), выделенных для этого выполнения задания. Можно выделить от 2 до 100 DPU, по умолчанию 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессорных ядер (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue .

ExecutionTime -> (целое число)

Время (в секундах), которое выполнение задания использовало ресурсы.

Timeout -> (целое число)

Таймаут в минутах для JobRun. Это максимальное время, которое выполнение задания может использовать ресурсы, прежде чем завершится и перейдет в состояние TIMEOUT. Это значение переопределяет значение таймаута, установленное в родительском задании.

Значения таймаута заданий должны быть меньше 7 дней или 10080 минут. В противном случае задания генерируют исключение.

Если значение не указано, по умолчанию устанавливается таймаут 2880 минут.

Для существующих заданий Glue, у которых значение таймаута было больше 7 дней, оно будет установлено по умолчанию в 7 дней. Например, если вы указали таймаут в 20 дней для задания пакетной обработки, оно будет остановлено на 7-й день.

Для заданий потоковой обработки, если вы настроили окно обслуживания, оно будет перезапущено во время окна обслуживания через 7 дней.

MaxCapacity -> (двойное)

Для заданий Glue версии 1.0 или более ранних, использующих стандартный тип рабочего процесса, количество единиц обработки данных Glue (DPU), которые могут быть выделены при выполнении этого задания. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессорных ядер (vCPU) вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue .

Для заданий Glue версии 2.0 и выше вы не можете указать Maximum capacity . Вместо этого вы должны указать Worker type и Number of workers.

Не устанавливайте MaxCapacity, если используете WorkerType и NumberOfWorkers.

Значение, которое можно выделить для MaxCapacity, зависит от того, выполняете ли вы задание интерпретатора Python, задание Apache Spark ETL или задание Apache Spark потоковой обработки ETL:

При указании задания интерпретатора Python (JobCommand.Name =”pythonshell”) вы можете выделить 0,0625 или 1 DPU. По умолчанию используется 0,0625 DPU.
При указании задания Apache Spark ETL (JobCommand.Name =”glueetl”) или задания Apache Spark потоковой обработки ETL (JobCommand.Name =”gluestreaming”) можно выделить от 2 до 100 DPU. По умолчанию используется 10 DPU. Для этого типа задания не допускается дробное выделение DPU.

WorkerType -> (строка)

Тип предварительно определенного рабочего процесса, который выделяется при выполнении задания. Для заданий Spark принимает значения G.1X, G.2X, G.4X, G.8X или G.025X. Для заданий Ray принимает значение Z.2X.

Для рабочего типа G.1X каждый рабочий соответствует 1 DPU (4 vCPU, 16 ГБ памяти) с диском 94 ГБ и обеспечивает 1 экзекьютор на рабочий. Мы рекомендуем этот тип рабочего процесса для рабочих нагрузок, таких как преобразования данных, объединения и запросы, чтобы предложить масштабируемый и экономичный способ выполнения большинства заданий.
Для рабочего типа G.2X каждый рабочий соответствует 2 DPU (8 vCPU, 32 ГБ памяти) с диском 138 ГБ и обеспечивает 1 экзекьютор на рабочий. Мы рекомендуем этот тип рабочего процесса для рабочих нагрузок, таких как преобразования данных, объединения и запросы, чтобы предложить масштабируемый и экономичный способ выполнения большинства заданий.
Для рабочего типа G.4X каждый рабочий соответствует 4 DPU (16 vCPU, 64 ГБ памяти) с диском 256 ГБ и обеспечивает 1 экзекьютор на рабочий. Мы рекомендуем этот тип рабочего процесса для заданий, рабочие нагрузки которых включают в себя наиболее сложные преобразования, агрегации, объединения и запросы. Этот тип рабочего процесса доступен только для заданий Apache Spark ETL версии Glue 3.0 или более поздней в следующих регионах Amazon Web Services: США (Огайо), США (Северная Вирджиния), США (Орегон), Азия-Тихий океан (Сингапур), Азия-Тихий океан (Сидней), Азия-Тихий океан (Токио), Канада (Центр), Европа (Франкфурт), Европа (Ирландия) и Европа (Стокгольм).
Для рабочего типа G.8X каждый рабочий соответствует 8 DPU (32 vCPU, 128 ГБ памяти) с диском 512 ГБ и обеспечивает 1 экзекьютор на рабочий. Мы рекомендуем этот тип рабочего процесса для заданий, рабочие нагрузки которых включают в себя наиболее сложные преобразования, агрегации, объединения и запросы. Этот тип рабочего процесса доступен только для заданий Apache Spark ETL Glue версии 3.0 или более поздней в тех же регионах Amazon Web Services, что и для рабочего типа G.4X.
Для рабочего типа G.025X каждый рабочий соответствует 0,25 DPU (2 vCPU, 4 ГБ памяти) с диском 84 ГБ и обеспечивает 1 экзекьютор на рабочий. Мы рекомендуем этот тип рабочего процесса для заданий потоковой обработки с низким объемом. Этот тип рабочего процесса доступен только для заданий потоковой обработки Glue версии 3.0 или более поздней.
Для рабочего типа Z.2X каждый рабочий соответствует 2 DPU (8vCPU, 64 ГБ памяти) с диском 128 ГБ и обеспечивает до 8 рабочих Ray на основе автомасштабирования.

NumberOfWorkers -> (целое число)

Количество рабочих определенного типа workerType, выделенных при выполнении задания.

SecurityConfiguration -> (строка)

Имя структуры SecurityConfiguration, которая будет использоваться с этим выполнением задания.

LogGroupName -> (строка)

Имя группы журналов для безопасного ведения журнала, которое может быть зашифровано на стороне сервера в Amazon CloudWatch с помощью KMS. Это имя может быть /aws-glue/jobs/, в этом случае шифрование по умолчанию — NONE. Если вы добавите имя роли и имя SecurityConfiguration (другими словами, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), то для шифрования группы журналов используется эта конфигурация безопасности.

NotificationProperty -> (структура)

Указывает конфигурационные свойства уведомления о выполнении задания.

NotifyDelayAfter -> (целое число)

Количество минут, которые нужно подождать после запуска выполнения задания, прежде чем отправлять уведомление о задержке выполнения задания.

GlueVersion -> (строка)

В заданиях Spark, GlueVersion определяет версии Apache Spark и Python, доступные в Glue в задании. Версия Python указывает поддерживаемую версию для заданий типа Spark.

Задания Ray должны установить GlueVersion на 4.0 или выше. Однако версии Ray, Python и других библиотек, доступные в вашем задании Ray, определяются параметром Runtime команды задания.

Дополнительную информацию о доступных версиях Glue и соответствующих версиях Spark и Python см. в руководстве разработчика Glue version.

Задания, созданные без указания версии Glue, используют Glue 0.9 по умолчанию.

DPUSeconds -> (двойное)

Это поле может быть установлено для выполнения заданий с классом выполнения FLEX или при включенном Auto Scaling и представляет собой общее время работы каждого экзекьютора в течение жизненного цикла выполнения задания в секундах, умноженное на множитель DPU (1 для G.1X, 2 для G.2X или 0,25 для рабочих G.025X). Это значение может отличаться от executionEngineRuntime * MaxCapacity, в случае заданий Auto Scaling, так как количество экзекьюторов, работающих в данный момент, может быть меньше, чем MaxCapacity. Следовательно, возможно, что значение DPUSeconds меньше, чем executionEngineRuntime * MaxCapacity.

ExecutionClass -> (строка)

Указывает, выполняется ли задание со стандартным или гибким классом выполнения. Стандартный класс выполнения подходит для задач с жесткими временными ограничениями, которым требуется быстрый запуск задания и выделенные ресурсы.

Гибкий класс выполнения подходит для задач, не зависящих от времени, у которых время начала и завершения может меняться.

Только задания с версией Glue 3.0 и выше и типом команды glueetl будут разрешены для установки ExecutionClass на FLEX. Гибкий класс выполнения доступен для заданий Spark.

MaintenanceWindow -> (строка)

Это поле указывает день недели и час для окна обслуживания для потоковых задач. Glue периодически выполняет задачи обслуживания. В эти окна обслуживания Glue потребуется перезапустить ваши потоковые задачи.

Glue перезапустит задачу в течение 3 часов с момента указанного окна обслуживания. Например, если вы установили окно обслуживания на понедельник в 10:00 по Гринвичу, ваши задачи будут перезапущены в период с 10:00 по Гринвичу до 13:00 по Гринвичу.

ProfileName -> (строка)

Имя профиля использования Glue, связанного с запуском задачи.

StateDetail -> (строка)

Это поле содержит подробную информацию, относящуюся к состоянию выполнения задачи. Поле может быть пустым.

Например, когда запуск задачи находится в состоянии ОЖИДАНИЯ в результате очереди запуска задачи, поле содержит причину, по которой запуск задачи находится в этом состоянии.

CrawlerDetails -> (структура)

Подробная информация о пауке, когда узел представляет собой паука.

Crawls -> (список)

Список ползунков, представленных узлом ползунка.

(структура)

Подробности ползунка в потоке работ.

State -> (строка)

Состояние ползунка.

StartedOn -> (временная метка)

Дата и время начала ползунка.

CompletedOn -> (временная метка)

Дата и время завершения ползунка.

ErrorMessage -> (строка)

Сообщение об ошибке, связанное с ползунком.

LogGroup -> (строка)

Группа журналов, связанная с ползунком.

LogStream -> (строка)

Поток журналов, связанный с ползунком.

Edges -> (список)

Список всех направленных соединений между узлами, принадлежащими потоку работ.

(структура)

Ребро представляет собой направленное соединение между двумя компонентами Glue, которые являются частью потока работ, к которому принадлежит ребро.

SourceId -> (строка)

Уникальный идентификатор узла в потоке работ, где начинается ребро.

DestinationId -> (строка)

Уникальный идентификатор узла в потоке работ, где заканчивается ребро.

MaxConcurrentRuns -> (целое число)

Этот параметр можно использовать для предотвращения нежелательных многократных обновлений данных, для управления затратами или в некоторых случаях для предотвращения превышения максимального числа одновременных запусков любых задач компонентов. Если вы оставите этот параметр пустым, ограничений на количество одновременных запусков потока работ нет.

BlueprintDetails -> (структура)

Эта структура указывает подробности чертежа, на основе которого был создан данный поток работ.

BlueprintName -> (строка)

Имя чертежа.

RunId -> (строка)

Идентификатор запуска для этого чертежа.

END_OF_DOCUMENT_MARKER