create-optimization-job

Описание

Создает задание, которое оптимизирует модель для производительности вывода. Для создания задания вы предоставляете расположение исходной модели и настройки оптимизационных методов, которые вы хотите применить к заданию. После успешного завершения задания SageMaker загружает новую оптимизированную модель в указанный вами выходной пункт назначения.

Для получения дополнительной информации о том, как использовать эту операцию, и о поддерживаемых оптимизационных методах, см. Оптимизация вывода модели с помощью Amazon SageMaker.

См. также: Документация API AWS

Синтаксис

  create-optimization-job
--optimization-job-name <value>
--role-arn <value>
--model-source <value>
--deployment-instance-type <value>
[--optimization-environment <value>]
--optimization-configs <value>
--output-config <value>
--stopping-condition <value>
[--tags <value>]
[--vpc-config <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--optimization-job-name (строка)

Пользовательское имя для новой задачи оптимизации.

--role-arn (строка)

Идентификатор ресурса Amazon (ARN) роли IAM, которая разрешает Amazon SageMaker AI выполнять задачи от вашего имени.

Во время оптимизации модели Amazon SageMaker AI требует разрешения на:

Чтение входных данных из ведра S3
Запись артефактов модели в ведро S3
Запись журналов в Amazon CloudWatch Logs
Публикация метрик в Amazon CloudWatch

Вы предоставляете разрешения на все эти задачи роли IAM. Для передачи этой роли Amazon SageMaker AI вызывающий эту API должен иметь разрешение iam:PassRole. Дополнительную информацию см. в разделе Роли Amazon SageMaker AI.

--model-source (структура)

Расположение исходной модели для оптимизации с помощью задачи оптимизации.

S3 -> (структура)

Расположение исходной модели в Amazon S3 для оптимизации с помощью задачи оптимизации.

S3Uri -> (строка)

URI Amazon S3, определяющий местоположение исходной модели для оптимизации с помощью задачи оптимизации.

ModelAccessConfig -> (структура)

Настройки конфигурации доступа к исходной модели ML для задачи оптимизации, где вы можете принять лицензионное соглашение конечного пользователя (EULA) для модели.

AcceptEula -> (булево)

Указывает согласие с лицензионным соглашением конечного пользователя (EULA) для модели. Значение AcceptEula должно быть явно определено как True, чтобы принять EULA, необходимое для этой модели. Вы несете ответственность за ознакомление с применимыми лицензионными условиями и подтверждение их приемлемости для вашего использования перед загрузкой или использованием модели.

Синтаксис сокращенной записи:

S3={S3Uri=string,ModelAccessConfig={AcceptEula=boolean}}

Синтаксис JSON:

{
  "S3": {
    "S3Uri": "string",
    "ModelAccessConfig": {
      "AcceptEula": true|false
    }
  }
}

--deployment-instance-type (строка)

Тип экземпляра, на котором размещается оптимизированная модель, созданная с помощью задачи оптимизации.

Возможные значения:

ml.p4d.24xlarge
ml.p4de.24xlarge
ml.p5.48xlarge
ml.g5.xlarge
ml.g5.2xlarge
ml.g5.4xlarge
ml.g5.8xlarge
ml.g5.12xlarge
ml.g5.16xlarge
ml.g5.24xlarge
ml.g5.48xlarge
ml.g6.xlarge
ml.g6.2xlarge
ml.g6.4xlarge
ml.g6.8xlarge
ml.g6.12xlarge
ml.g6.16xlarge
ml.g6.24xlarge
ml.g6.48xlarge
ml.g6e.xlarge
ml.g6e.2xlarge
ml.g6e.4xlarge
ml.g6e.8xlarge
ml.g6e.12xlarge
ml.g6e.16xlarge
ml.g6e.24xlarge
ml.g6e.48xlarge
ml.inf2.xlarge
ml.inf2.8xlarge
ml.inf2.24xlarge
ml.inf2.48xlarge
ml.trn1.2xlarge
ml.trn1.32xlarge
ml.trn1n.32xlarge

--optimization-environment (карта)

Переменные среды, которые необходимо установить в контейнере модели.

ключ -> (строка)

значение -> (строка)

Синтаксис сокращенной записи:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--optimization-configs (список)

Настройки для каждого из методов оптимизации, применяемых задачей.

(структура помеченного объединения)

Настройки метода оптимизации, применяемого задачей оптимизации модели.

Примечание

Это структура помеченного объединения. Можно задать только один из следующих верхних ключей: ModelQuantizationConfig, ModelCompilationConfig, ModelShardingConfig.

ModelQuantizationConfig -> (структура)

Настройки метода квантования модели, применяемого задачей оптимизации модели.

Image -> (строка)

URI DLC LMI в Amazon ECR. SageMaker использует этот образ для выполнения оптимизации.

OverrideEnvironment -> (карта)

Переменные среды, которые переопределяют стандартные переменные в контейнере модели.

ключ -> (строка)

значение -> (строка)

ModelCompilationConfig -> (структура)

Настройки метода компиляции модели, применяемого задачей оптимизации модели.

Image -> (строка)

URI DLC LMI в Amazon ECR. SageMaker использует этот образ для выполнения оптимизации.

OverrideEnvironment -> (карта)

Переменные среды, которые переопределяют стандартные переменные в контейнере модели.

ключ -> (строка)

значение -> (строка)

ModelShardingConfig -> (структура)

Настройки метода фрагментации модели, применяемого задачей оптимизации модели.

Image -> (строка)

URI DLC LMI в Amazon ECR. SageMaker использует этот образ для выполнения оптимизации.

OverrideEnvironment -> (карта)

Переменные среды, которые переопределяют стандартные переменные в контейнере модели.

ключ -> (строка)

значение -> (строка)

Синтаксис сокращенной записи:

ModelQuantizationConfig={Image=string,OverrideEnvironment={KeyName1=string,KeyName2=string}},ModelCompilationConfig={Image=string,OverrideEnvironment={KeyName1=string,KeyName2=string}},ModelShardingConfig={Image=string,OverrideEnvironment={KeyName1=string,KeyName2=string}} ...

Синтаксис JSON:

[
  {
    "ModelQuantizationConfig": {
      "Image": "string",
      "OverrideEnvironment": {"string": "string"
        ...}
    },
    "ModelCompilationConfig": {
      "Image": "string",
      "OverrideEnvironment": {"string": "string"
        ...}
    },
    "ModelShardingConfig": {
      "Image": "string",
      "OverrideEnvironment": {"string": "string"
        ...}
    }
  }
  ...
]

--output-config (структура)

Детали места хранения оптимизированной модели, созданной с помощью задачи оптимизации.

KmsKeyId -> (строка)

Идентификатор ресурса Amazon (ARN) ключа в Amazon Web Services KMS. SageMaker использует этот ключ для шифрования артефактов оптимизированной модели при загрузке модели в Amazon S3.

S3OutputLocation -> (строка)

URI Amazon S3 для хранения оптимизированной модели, созданной с помощью задачи оптимизации.

Синтаксис сокращенной записи:

KmsKeyId=string,S3OutputLocation=string

Синтаксис JSON:

{
  "KmsKeyId": "string",
  "S3OutputLocation": "string"
}

--stopping-condition (структура)

Устанавливает ограничение времени выполнения задачи. По достижении предела времени SageMaker завершает задачу. Используйте этот API для ограничения затрат.

Для остановки задачи обучения SageMaker отправляет алгоритму сигнал SIGTERM, который откладывает завершение задачи на 120 секунд. Алгоритмы могут использовать этот 120-секундный интервал для сохранения артефактов модели, чтобы результаты обучения не были потеряны.

Предоставляемые SageMaker алгоритмы автоматически сохраняют промежуточные результаты задачи обучения модели, когда это возможно. Попытка сохранить артефакты является лишь лучшим вариантом, так как модель может не быть в состоянии, из которой ее можно сохранить. Например, если обучение только началось, модель может быть не готова к сохранению. При сохранении эти промежуточные данные являются допустимыми артефактами модели. Вы можете использовать их для создания модели с помощью CreateModel.

Примечание

Нейронная темальная модель (NTM) в настоящее время не поддерживает сохранение промежуточных артефактов модели. При обучении NTM убедитесь, что максимальное время выполнения достаточно для завершения задачи обучения.

MaxRuntimeInSeconds -> (целое число)

Максимальная продолжительность выполнения задачи обучения или компиляции в секундах, после которой она останавливается.

Для задач компиляции, если задача не завершается в течение этого времени, генерируется ошибка TimeOut. Рекомендуется начать с 900 секунд и по необходимости увеличивать их в зависимости от вашей модели.

Для всех других задач, если задача не завершается в течение этого времени, SageMaker завершает задачу. При указании RetryStrategy в запросе задачи, MaxRuntimeInSeconds указывает максимальное время для всех попыток в целом, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение — 28 дней.

Максимальное время выполнения TrainingJob в целом, включая время, потраченное на публикацию метрик или архивирование и загрузку моделей после остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время ожидания, в секундах, для завершения управляемой задачи обучения Spot. Это время ожидания выделения ресурсов Spot плюс время выполнения задачи. Оно должно быть равно или больше MaxRuntimeInSeconds. Если задача не завершается в течение этого времени, SageMaker завершает задачу.

При указании RetryStrategy в запросе задачи, MaxWaitTimeInSeconds указывает максимальное время для всех попыток в целом, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальное время ожидания, в секундах, задачи обучения или компиляции, после которого она останавливается.

Примечание

При работе с задачами обучения, использующими емкость из планов обучения, не все состояния задач Pending учитываются в пределе MaxPendingTimeInSeconds. В следующих сценариях счетчик MaxPendingTimeInSeconds не увеличивается:

План находится в состоянии Scheduled: Задачи в очереди (в состоянии Pending) до даты начала плана (ожидание запланированного времени начала)
Между резервированием емкости: Задачи временно возвращены в состояние Pending между двумя периодами резервирования емкости

MaxPendingTimeInSeconds увеличивается только при активном ожидании задач емкости в плане Active.

Синтаксис сокращенной записи:

MaxRuntimeInSeconds=integer,MaxWaitTimeInSeconds=integer,MaxPendingTimeInSeconds=integer

Синтаксис JSON:

{
  "MaxRuntimeInSeconds": integer,
  "MaxWaitTimeInSeconds": integer,
  "MaxPendingTimeInSeconds": integer
}

--tags (список)

Список пар «ключ-значение», связанных с задачей оптимизации. Дополнительную информацию см. в разделе Метки ресурсов Amazon Web Services в Руководстве по общей справке Amazon Web Services.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять метки к экземплярам ноутбуков, задачам обучения, задачам настройки гиперпараметров, задачам пакетной обработки, моделям, задачам маркировки, группам задач, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении меток к ресурсам SageMaker см. в разделе AddTags.

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью меток см. в разделе Метки ресурсов Amazon Web Services. Советы по лучшим практикам управления ресурсами Amazon Web Services с помощью меток см. в разделе Best Practices for Managing Amazon Web Services Resources with Tagging.

Key -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Value -> (строка)

Значение тега.

Синтаксис сокращенной записи:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--vpc-config (структура)

В VPC в Amazon VPC, к которому имеет доступ ваша оптимизированная модель.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанного в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою оптимизированную модель.

(строка)

Сокращенная запись:

SecurityGroupIds=string,string,Subnets=string,string

Синтаксис JSON:

{
  "SecurityGroupIds": ["string", ...],
  "Subnets": ["string", ...]
}

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные в JSON. Передавать произвольные двоичные значения с помощью JSON-значения в виде строки невозможно, так как строка будет интерпретироваться буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладочную запись в журнал.

--endpoint-url (строка)

Переопределить стандартный URL команды на предоставленный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Используемый регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить вывод цвета.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл CA-сертификатов для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строкой base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставляемого с двоичным блоком, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла непосредственно, независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить вывод страницы cli.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматический запрос параметров CLI.

Вывод

OptimizationJobArn -> (строка)

Amazon Resource Name (ARN) задачи оптимизации.