describe-transform-job

Описание

Возвращает информацию о задании преобразования.

См. также: Документация AWS API

Синтаксис

  describe-transform-job
--transform-job-name <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--transform-job-name (строка)

Имя задания преобразования, подробности которого вы хотите получить.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставляются в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение по умолчанию или значение input, выводит JSON-пример входных данных, который может быть использован в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример YAML входных данных, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команды и возвращает JSON-пример выходных данных для этой команды. Сгенерированный JSON-скелет нестабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладку логов.

--endpoint-url (строка)

Переопределить URL по умолчанию команды на указанный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет стандартное поведение проверки SSL-сертификатов.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

json
text
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла аутентификации.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

включить
выключить
автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Кредиты не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Обработка CA-сертификатов для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться в блокирующем режиме без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет выполняться в блокирующем режиме без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить кли-пейджер для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров CLI.

Вывод

TransformJobName -> (строка)

Имя задачи трансформации.

TransformJobArn -> (строка)

Amazon Resource Name (ARN) задачи трансформации.

TransformJobStatus -> (строка)

Состояние задачи трансформации. Если задача трансформации завершилась неудачно, причина указана в поле FailureReason.

FailureReason -> (строка)

Если задача трансформации завершилась неудачно, поле FailureReason описывает причину. Задача трансформации создаёт файл журнала, содержащий сообщения об ошибках, и сохраняет его как объект Amazon S3. Дополнительную информацию см. в разделе Ведение журналов событий Amazon SageMaker с помощью Amazon CloudWatch.

ModelName -> (строка)

Имя модели, используемой в задаче трансформации.

MaxConcurrentTransforms -> (целое число)

Максимальное количество параллельных запросов на каждом узле экземпляра, которое может быть запущено в задаче трансформации. Значение по умолчанию — 1.

ModelClientConfig -> (структура)

Таймаут и максимальное количество попыток повторной обработки вызова задачи трансформации.

InvocationsTimeoutInSeconds -> (целое число)

Значение таймаута в секундах для запроса вызова. Значение по умолчанию — 600.

InvocationsMaxRetries -> (целое число)

Максимальное количество попыток повторной обработки при сбоях запросов вызова. Значение по умолчанию — 3.

MaxPayloadInMB -> (целое число)

Максимальный размер полезной нагрузки в МБ, используемый в задаче трансформации.

BatchStrategy -> (строка)

Указывает количество записей, включаемых в мини-пакет для запроса HTTP-вывода. Запись — это единица входных данных, на которых может быть выполнен вывод. Например, одна строка в файле CSV — это запись.

Для включения стратегии пакетной обработки необходимо установить SplitType в Line , RecordIO или TFRecord.

Environment -> (карта)

Переменные среды, которые нужно установить в контейнере Docker. Мы поддерживаем до 16 пар ключ-значение в карте.

key -> (строка)

value -> (строка)

TransformInput -> (структура)

Описывает набор данных, подлежащий трансформации, и расположение Amazon S3, где он хранится.

DataSource -> (структура)

Описывает расположение данных канала, то есть расположение входных данных в S3, которые может использовать модель.

S3DataSource -> (структура)

Расположение данных источника S3, связанного с каналом.

S3DataType -> (строка)

Если вы выберете S3Prefix , S3Uri определяет префикс имени ключа. Amazon SageMaker использует все объекты с указанным префиксом имени ключа для пакетной трансформации.

Если вы выберете ManifestFile , S3Uri определяет объект, являющийся файлом манифеста, содержащим список ключей объектов, которые вы хотите использовать для пакетной трансформации Amazon SageMaker.

Совместимые значения: ManifestFile , S3Prefix

Несовместимое значение: AugmentedManifestFile

S3Uri -> (строка)

В зависимости от указанного значения для S3DataType определяет либо префикс имени ключа, либо манифест. Например:

Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/.
Манифест может выглядеть так: s3://bucketname/example.manifest Манифест — это объект S3, представляющий собой файл JSON со следующим форматом: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Предыдущий JSON соответствует следующему S3Uris: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uris в этом манифесте составляет входные данные для канала для этого источника данных. Объект, на который указывает каждый S3Uris, должен быть доступен для роли IAM, которую Amazon SageMaker использует для выполнения задач от вашего имени.

ContentType -> (строка)

Многоцелевой тип Internet Mail Extension (MIME) данных. Amazon SageMaker использует тип MIME при каждом вызове HTTP для передачи данных в задачу трансформации.

CompressionType -> (строка)

Если ваши данные трансформации сжаты, укажите тип сжатия. Amazon SageMaker автоматически распакует данные для задачи трансформации соответствующим образом. Значение по умолчанию — None.

SplitType -> (строка)

Способ разделения файлов данных задачи трансформации на меньшие пакеты. Разделение необходимо, когда общий размер каждого объекта слишком большой для размещения в одном запросе. Вы также можете использовать разделение данных для повышения производительности путём обработки нескольких параллельных мини-пакетов. Значение по умолчанию для SplitType — None, что указывает на то, что файлы входных данных не разделены, а полезные нагрузки запросов содержат все содержимое входного объекта. Установите значение этого параметра в Line, чтобы разделить записи по границе новой строки. SplitType также поддерживает ряд двоичных форматов, ориентированных на записи. В настоящее время поддерживаются следующие форматы записей:

RecordIO
TFRecord

При включённом разделении размер мини-пакета зависит от значений параметров BatchStrategy и MaxPayloadInMB. Когда значение BatchStrategy равно MultiRecord, Amazon SageMaker отправляет максимальное количество записей в каждом запросе, до предела MaxPayloadInMB. Если значение BatchStrategy равно SingleRecord, Amazon SageMaker отправляет отдельные записи в каждом запросе.

Примечание

Некоторые форматы данных представляют запись как двоичную полезную нагрузку, обернутую дополнительными байтами заполнения. При применении разделения к двоичному формату данных заполнение удаляется, если значение BatchStrategy установлено в SingleRecord. Заполнение не удаляется, если значение BatchStrategy установлено в MultiRecord.

Дополнительную информацию о RecordIO см. в документации MXNet в разделе Создание набора данных с помощью RecordIO. Дополнительную информацию о TFRecord см. в документации TensorFlow в разделе Использование данных TFRecord.

TransformOutput -> (структура)

Определяет расположение Amazon S3, где вы хотите, чтобы Amazon SageMaker сохранил результаты из задачи трансформации.

S3OutputPath -> (строка)

Путь Amazon S3, где вы хотите, чтобы Amazon SageMaker сохранил результаты задачи трансформации. Например, s3://bucket-name/key-name-prefix.

Для каждого объекта S3, используемого в качестве входных данных для задачи трансформации, пакетная трансформация сохраняет преобразованные данные с суффиксом `.``out` в соответствующей подпапке в расположении в префиксе вывода. Например, для входных данных, хранящихся в s3://bucket-name/input-name-prefix/dataset01/data.csv, пакетная трансформация сохраняет преобразованные данные в s3://bucket-name/output-name-prefix/input-name-prefix/data.csv.out. Пакетная трансформация не загружает частично обработанные объекты. Для входного объекта S3, содержащего несколько записей, он создаёт файл `.``out` только в случае успешного завершения задачи трансформации для всего файла. Когда вход содержит несколько объектов S3, пакетная задача трансформации обрабатывает перечисленные объекты S3 и загружает вывод только для успешно обработанных объектов. Если какой-либо объект завершается неудачно в пакетной задаче трансформации, пакетная трансформация отмечает задачу как неудачную, чтобы вызвать расследование.

Accept -> (строка)

Тип MIME, используемый для указания выходных данных. Amazon SageMaker использует тип MIME при каждом вызове HTTP для передачи данных из задачи трансформации.

AssembleWith -> (строка)

Определяет способ сборки результатов задачи трансформации в один объект S3. Выберите формат, наиболее удобный для вас. Для конкатенации результатов в двоичном формате укажите None. Для добавления символа новой строки в конце каждой преобразованной записи укажите Line.

KmsKeyId -> (строка)

Ключ Amazon Web Services Key Management Service (Amazon Web Services KMS), который Amazon SageMaker использует для шифрования артефактов модели в состоянии покоя с использованием шифрования на стороне сервера Amazon S3. KmsKeyId может иметь любой из следующих форматов:

Идентификатор ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

Если вы не предоставите идентификатор ключа KMS, Amazon SageMaker использует ключ KMS по умолчанию для Amazon S3 для учётной записи вашей роли. Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в Руководстве разработчика Amazon Simple Storage Service.

Политика ключа KMS должна предоставлять разрешения роли IAM, которую вы указали в запросе CreateModel. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в Руководстве разработчика Amazon Web Services Key Management Service.

DataCaptureConfig -> (структура)

Настройка для управления тем, как SageMaker захватывает данные вывода.

DestinationS3Uri -> (строка)

Расположение Amazon S3, используемое для захвата данных.

KmsKeyId -> (строка)

Amazon Resource Name (ARN) ключа службы управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных на томе хранения, подключённом к экземпляру вычислительных ресурсов машинного обучения, на котором размещается пакетная задача трансформации.

KmsKeyId может иметь любой из следующих форматов:

Идентификатор ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

GenerateInferenceId -> (булево)

Флаг, указывающий, добавлять ли идентификатор вывода к выводу.

TransformResources -> (структура)

Описывает ресурсы, включая типы машин ML и количество машин ML, используемые для задачи преобразования.

InstanceType -> (строка)

Тип вычислительного экземпляра ML для задачи преобразования. Если вы используете встроенные алгоритмы для преобразования умеренно больших наборов данных, рекомендуется использовать типы экземпляров ml.m4.xlarge или ml.m5.large.

InstanceCount -> (целое число)

Количество вычислительных экземпляров ML, используемых в задаче преобразования. Значение по умолчанию — 1, а максимальное значение — 100. Для распределённых задач преобразования укажите значение, большее, чем 1.

VolumeKmsKeyId -> (строка)

Ключ Amazon Web Services Key Management Service (Amazon Web Services KMS), который Amazon SageMaker использует для шифрования данных модели на томе хранения, подключенном к вычислительному экземпляру ML, на котором выполняется задача пакетного преобразования.

Примечание

Некоторые экземпляры на базе Nitro включают локальное хранилище, зависящее от типа экземпляра. Тома локального хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляров, см. в разделе Instance Store Volumes.

Дополнительную информацию о шифровании локального хранилища экземпляров см. в разделе SSD Instance Store Volumes.

Ключ VolumeKmsKeyId может быть в любом из следующих форматов:

Идентификатор ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

TransformAmiVersion -> (строка)

Указывает параметр из набора предварительно настроенных образов Amazon Machine Image (AMI). Каждый образ настроен Amazon Web Services с набором версий программного обеспечения и драйверов.

al2-ami-sagemaker-batch-gpu-470

Ускоритель: GPU
Версия драйвера NVIDIA: 470

al2-ami-sagemaker-batch-gpu-535
Ускоритель: GPU
Версия драйвера NVIDIA: 535

CreationTime -> (отметка времени)

Отметка времени, показывающая, когда была создана задача преобразования.

TransformStartTime -> (отметка времени)

Указывает, когда задача преобразования запускается на машинах ML. Вам взимается плата за временной интервал между этим временем и значением TransformEndTime.

TransformEndTime -> (отметка времени)

Указывает, когда задача преобразования была завершена, остановлена или завершилась неудачей. Вам взимается плата за временной интервал между этим временем и значением TransformStartTime.

LabelingJobArn -> (строка)

Amazon Resource Name (ARN) задачи маркировки Amazon SageMaker Ground Truth, которая создала задачу преобразования или обучения.

AutoMLJobArn -> (строка)

Amazon Resource Name (ARN) задачи преобразования AutoML.

DataProcessing -> (структура)

Структура данных, используемая для указания данных, которые будут использоваться для вывода в задаче пакетного преобразования, и для связывания данных, относящихся к результатам прогноза в выводе. Предоставленный фильтр входных данных позволяет исключить входные данные, которые не нужны для вывода в задаче пакетного преобразования. Предоставленный фильтр выходных данных позволяет включить входные данные, относящиеся к интерпретации прогнозов в выводе от задачи. Дополнительную информацию см. в разделе Associate Prediction Results with their Corresponding Input Records.

InputFilter -> (строка)

Выражение JSONPath, используемое для выбора части входных данных для передачи алгоритму. Используйте параметр InputFilter, чтобы исключить поля, такие как столбец ID, из входных данных. Если вы хотите, чтобы SageMaker передал весь набор входных данных алгоритму, примите значение по умолчанию $.

Примеры: "$", "$[1:]", "$.features"

OutputFilter -> (строка)

Выражение JSONPath, используемое для выбора части объединённого набора данных для сохранения в выходном файле для задачи пакетного преобразования. Если вы хотите, чтобы SageMaker сохранил весь набор входных данных в выходном файле, оставьте значение по умолчанию, $. Если вы укажете индексы, которые не находятся в размерности объединённого набора данных, произойдёт ошибка.

Примеры: "$", "$[0,5:]", "$['id','SageMakerOutput']"

JoinSource -> (строка)

Указывает источник данных для объединения с преобразованными данными. Допустимые значения — None и Input. Значение по умолчанию — None, что указывает на то, что входные данные не должны объединяться с преобразованными данными. Если вы хотите, чтобы задача пакетного преобразования объединяла исходные входные данные с преобразованными данными, установите JoinSource в значение Input. Вы можете указать OutputFilter в качестве дополнительного фильтра для выбора части объединённого набора данных и сохранения её в выходном файле.

Для объектов JSON или JSONLines, таких как массив JSON, SageMaker добавляет преобразованные данные в входной объект JSON в атрибут, называемый SageMakerOutput. Объединённый результат для JSON должен быть объектом пары ключ-значение. Если входной данные не являются объектом пары ключ-значение, SageMaker создаёт новый файл JSON. В новом файле JSON входные данные хранятся под ключом SageMakerInput, а результаты — под ключом SageMakerOutput.

Для данных CSV SageMaker рассматривает каждую строку как массив JSON и объединяет преобразованные данные с входными данными, добавляя каждую преобразованную строку в конец входных данных. Объединённые данные содержат исходные входные данные, за которыми следуют преобразованные данные, а вывод — CSV-файл.

Дополнительную информацию о том, как применяется объединение, см. в разделе Workflow for Associating Inferences with Input Records.

ExperimentConfig -> (структура)

Связывает задачу SageMaker как компонент испытания с экспериментом и испытанием. Указывается при вызове следующих API:

CreateProcessingJob
CreateTrainingJob
CreateTransformJob

ExperimentName -> (строка)

Имя существующего эксперимента для связи с компонентом испытания.

TrialName -> (строка)

Имя существующего испытания для связи с компонентом испытания. Если не указано, создаётся новое испытание.

TrialComponentDisplayName -> (строка)

Имя отображения для компонента испытания. Если этот ключ не указан, имя отображения — имя компонента испытания.

RunName -> (строка)

Имя выполнения эксперимента для связи с компонентом испытания.