Spec-Zone.ru › AWS CLI v2

[ aws . sagemaker ]

create-training-job

Описание

Запускает задание обучения модели. После завершения обучения SageMaker сохраняет полученные артефакты модели в указанном вами расположении Amazon S3.

Если вы выберете размещение вашей модели с помощью сервисов хостинга SageMaker, вы можете использовать полученные артефакты модели. Вы также можете использовать артефакты в службе машинного обучения, отличной от SageMaker, при условии, что знаете, как их использовать для вывода.

В теле запроса вы предоставляете следующее:

  • AlgorithmSpecification - Определяет алгоритм обучения, который будет использоваться.
  • HyperParameters - Укажите эти параметры, специфичные для алгоритма, чтобы включить оценку параметров модели во время обучения. Гиперпараметры могут быть настроены для оптимизации этого процесса обучения. Список гиперпараметров для каждого алгоритма обучения, предоставляемого SageMaker, см. в разделе Алгоритмы.

Предупреждение

Не включайте в поля гиперпараметров какую-либо конфиденциальную информацию, включая идентификаторы доступа к учетной записи, секреты или токены. В рамках модели совместной ответственности вы несете ответственность за любое потенциальное раскрытие, несанкционированный доступ или компрометацию ваших конфиденциальных данных, если они вызваны конфиденциальной информацией, включенной в переменные гиперпараметров запроса или поля обычного текста.
  • InputDataConfig - Описывает входные данные, необходимые для задания обучения, и расположение Amazon S3, EFS или FSx, где они хранятся.
  • OutputDataConfig - Определяет ведро Amazon S3, в котором вы хотите, чтобы SageMaker сохранил результаты обучения модели.
  • ResourceConfig - Определяет ресурсы, экземпляры вычислительных ресурсов ML и объемы памяти ML для развертывания для обучения модели. При распределенном обучении вы указываете более одного экземпляра.
  • EnableManagedSpotTraining - Оптимизируйте затраты на обучение моделей машинного обучения до 80% с помощью экземпляров Amazon EC2 Spot. Дополнительную информацию см. в разделе Управляемое обучение с использованием Spot-инстансов.
  • RoleArn - Имя ресурса Amazon (ARN), которое SageMaker использует для выполнения задач от вашего имени во время обучения модели. Вы должны предоставить этой роли необходимые разрешения, чтобы SageMaker смог успешно завершить обучение модели.
  • StoppingCondition - Чтобы ограничить затраты на обучение, используйте MaxRuntimeInSeconds для установки временного ограничения для обучения. Используйте MaxWaitTimeInSeconds для указания того, сколько времени должно потребоваться управляемому заданию обучения с использованием spot-инстансов для завершения.
  • Environment - Переменные среды, которые необходимо установить в контейнере Docker.

Предупреждение

Не включайте в поля среды какую-либо конфиденциальную информацию, включая идентификаторы доступа к учетной записи, секреты или токены. В рамках модели совместной ответственности вы несете ответственность за любое потенциальное раскрытие, несанкционированный доступ или компрометацию ваших конфиденциальных данных, если они вызваны конфиденциальной информацией, включенной в переменные среды запроса или поля обычного текста.
  • RetryStrategy - Количество попыток повторного выполнения задания при сбое задания из-за InternalServerError.

Дополнительную информацию о SageMaker см. в разделе Как это работает.

См. также: Документация API AWS

Синтаксис

  create-training-job
--training-job-name <value>
[--hyper-parameters <value>]
--algorithm-specification <value>
--role-arn <value>
[--input-data-config <value>]
--output-data-config <value>
--resource-config <value>
[--vpc-config <value>]
--stopping-condition <value>
[--tags <value>]
[--enable-network-isolation | --no-enable-network-isolation]
[--enable-inter-container-traffic-encryption | --no-enable-inter-container-traffic-encryption]
[--enable-managed-spot-training | --no-enable-managed-spot-training]
[--checkpoint-config <value>]
[--debug-hook-config <value>]
[--debug-rule-configurations <value>]
[--tensor-board-output-config <value>]
[--experiment-config <value>]
[--profiler-config <value>]
[--profiler-rule-configurations <value>]
[--environment <value>]
[--retry-strategy <value>]
[--remote-debug-config <value>]
[--infra-check-config <value>]
[--session-chaining-config <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--training-job-name (строка)

Имя обучающей задачи. Имя должно быть уникальным в регионе Amazon Web Services и в аккаунте Amazon Web Services.

--hyper-parameters (словарь)

Параметры, специфичные для алгоритма, которые влияют на качество модели. Вы задаёте гиперпараметры перед началом обучения. Список гиперпараметров для каждого алгоритма, предоставляемого SageMaker, см. в разделе Алгоритмы .

Вы можете указать не более 100 гиперпараметров. Каждый гиперпараметр — это пара «ключ-значение». Каждый ключ и значение ограничены 256 символами, как указано в Length Constraint .

Предупреждение

Не включайте в поля гиперпараметров какую-либо конфиденциальную информацию, включая идентификаторы доступа к аккаунту, секреты или токены. В рамках модели совместной ответственности вы несете ответственность за любое потенциальное раскрытие, несанкционированный доступ или скомпрометирование ваших конфиденциальных данных, если это вызвано любой конфиденциальной информацией, включённой в переменные гиперпараметров запроса или текстовые поля.

ключ -> (строка)

значение -> (строка)

Краткая запись:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--algorithm-specification (структура)

Путь реестра образа Docker, содержащего обучающий алгоритм и метаданные, специфичные для алгоритма, включая режим ввода. Дополнительную информацию об алгоритмах, предоставляемых SageMaker, см. в разделе Алгоритмы . Сведения о предоставлении собственных алгоритмов см. в разделе Использование собственных алгоритмов с Amazon SageMaker .

TrainingImage -> (строка)

Путь реестра образа Docker, содержащего обучающий алгоритм. Дополнительную информацию о путях реестра Docker для встроенных алгоритмов SageMaker см. в разделе Пути реестра Docker и пример кода в руководстве разработчика Amazon SageMaker . SageMaker поддерживает как registry/repository[:tag], так и registry/repository[@digest] форматы пути к изображению. Дополнительную информацию об использовании собственного контейнера обучения см. в разделе Использование собственных алгоритмов с Amazon SageMaker .

Примечание

Вы должны указать имя алгоритма для параметра AlgorithmName или URI образа алгоритмического контейнера для параметра TrainingImage.

Дополнительную информацию см. в примечании к описанию параметра AlgorithmName.

AlgorithmName -> (строка)

Имя ресурса алгоритма, используемого для обучающей задачи. Это должен быть ресурс алгоритма, который вы создали или к которому подписались на Amazon Web Services Marketplace.

Примечание

Вы должны указать имя алгоритма для параметра AlgorithmName или URI образа алгоритмического контейнера для параметра TrainingImage.

Обратите внимание, что параметр AlgorithmName взаимоисключающ с параметром TrainingImage. Если вы укажете значение для параметра AlgorithmName, вы не можете указать значение для TrainingImage, и наоборот.

Если вы укажете значения для обоих параметров, обучающая задача может завершиться ошибкой; если вы не укажете значения для обоих параметров, обучающая задача может вызвать ошибку null.

TrainingInputMode -> (строка)

Режим ввода обучения, поддерживаемый алгоритмом. Дополнительную информацию о режимах ввода см. в разделе Алгоритмы .

Режим канала

Если алгоритм поддерживает режим Pipe, Amazon SageMaker передает данные напрямую из Amazon S3 в контейнер.

Режим файла

Если алгоритм поддерживает режим File, SageMaker загружает обучающие данные из S3 в выделенный том памяти ML и монтирует директорию в том Docker для обучающего контейнера.

Вы должны выделить том памяти ML с достаточной ёмкостью для размещения данных, загруженных из S3. В дополнение к обучающим данным, том памяти ML также хранит выходную модель. Контейнер алгоритма использует том памяти ML также для хранения промежуточной информации, если таковая имеется.

Для распределенных алгоритмов обучающие данные распределяются равномерно. Время обучения предсказуемо, если размеры объектов входных данных примерно одинаковы. SageMaker не разбивает файлы далее для обучения модели. Если размеры объектов неравномерны, обучение не будет оптимальным, так как распределение данных также неравномерно, когда один хост в кластере обучения перегружен, тем самым становясь узким местом в процессе обучения.

Режим FastFile

Если алгоритм поддерживает режим FastFile, SageMaker передает данные напрямую из S3 в контейнер без изменений кода и предоставляет доступ к файловой системе данных. Пользователи могут написать скрипт обучения для взаимодействия с этими файлами так, как если бы они хранились на диске.

Режим FastFile лучше всего подходит, когда данные читаются последовательно. Улучшенные манифестные файлы не поддерживаются. Время запуска меньше, когда в ведре S3 меньше файлов.

MetricDefinitions -> (список)

Список объектов определения метрик. Каждый объект определяет имя метрики и регулярные выражения, используемые для анализа журналов алгоритма. SageMaker публикует каждую метрику в Amazon CloudWatch.

(структура)

Определяет метрику, которую обучающий алгоритм записывает в stderr или stdout . Вы можете просмотреть эти журналы, чтобы понять, как выполняется ваша обучающая задача, и проверить наличие каких-либо ошибок, возникших во время обучения. SageMaker подстройка гиперпараметров фиксирует все определённые метрики. Укажите одну из определённых метрик для использования в качестве целевой метрики с помощью параметра TuningObjective в API HyperParameterTrainingJobDefinition для оценки производительности задачи во время подстройки гиперпараметров.

Name -> (строка)

Имя метрики.

Regex -> (строка)

Регулярное выражение, которое ищет в выходных данных обучающей задачи и получает значение метрики. Дополнительную информацию об использовании регулярных выражений для определения метрик см. в разделе Определение метрик и переменных среды .

EnableSageMakerMetricsTimeSeries -> (булево)

Для генерации и сохранения временных метрик во время обучения, установите в true . По умолчанию значение false, и временные метрики не генерируются, за исключением следующих случаев:

  • Вы используете один из встроенных алгоритмов SageMaker
  • Вы используете один из следующих предварительно подготовленных изображений SageMaker Docker :
    • Tensorflow (версия >= 1.15)
    • MXNet (версия >= 1.6)
    • PyTorch (версия >= 1.3)
  • Вы указали хотя бы одну MetricDefinition

ContainerEntrypoint -> (список)

Скрипт точки входа для контейнера Docker, используемого для выполнения обучающей задачи. Этот скрипт имеет приоритет над стандартными инструкциями обработки обучения. Дополнительную информацию см. в разделе Как Amazon SageMaker выполняет ваш обучающий образ.

(строка)

ContainerArguments -> (список)

Аргументы для контейнера, используемого для выполнения обучающей задачи. Дополнительную информацию см. в разделе Как Amazon SageMaker выполняет ваш обучающий образ.

(строка)

TrainingImageConfig -> (структура)

Настройка использования образа из частного реестра Docker для обучающей задачи.

TrainingRepositoryAccessMode -> (строка)

Метод, который ваша обучающая задача будет использовать для доступа к изображениям в вашем частном реестре Docker. Для доступа к изображению в частном реестре Docker установите в Vpc.

TrainingRepositoryAuthConfig -> (структура)

Объект, содержащий информацию об аутентификации для частного реестра Docker, содержащего ваши обучающие изображения.

TrainingRepositoryCredentialsProviderArn -> (строка)

Amazon Resource Name (ARN) функции Amazon Web Services Lambda, используемой для предоставления SageMaker учетных данных доступа к вашему частному реестру Docker.

Краткая запись:

TrainingImage=string,AlgorithmName=string,TrainingInputMode=string,MetricDefinitions=[{Name=string,Regex=string},{Name=string,Regex=string}],EnableSageMakerMetricsTimeSeries=boolean,ContainerEntrypoint=string,string,ContainerArguments=string,string,TrainingImageConfig={TrainingRepositoryAccessMode=string,TrainingRepositoryAuthConfig={TrainingRepositoryCredentialsProviderArn=string}}

Синтаксис JSON:

{
  "TrainingImage": "string",
  "AlgorithmName": "string",
  "TrainingInputMode": "Pipe"|"File"|"FastFile",
  "MetricDefinitions": [
    {
      "Name": "string",
      "Regex": "string"
    }
    ...
  ],
  "EnableSageMakerMetricsTimeSeries": true|false,
  "ContainerEntrypoint": ["string", ...],
  "ContainerArguments": ["string", ...],
  "TrainingImageConfig": {
    "TrainingRepositoryAccessMode": "Platform"|"Vpc",
    "TrainingRepositoryAuthConfig": {
      "TrainingRepositoryCredentialsProviderArn": "string"
    }
  }
}

--role-arn (строка)

Amazon Resource Name (ARN) роли IAM, которую SageMaker может принять для выполнения задач от вашего имени.

Во время обучения модели SageMaker необходимо ваше разрешение для чтения входных данных из ведра S3, загрузки образа Docker, содержащего код обучения, записи артефактов модели в ведро S3, записи журналов в Amazon CloudWatch Logs и публикации метрик в Amazon CloudWatch. Вы предоставляете разрешения для всех этих задач роли IAM. Дополнительную информацию см. в разделе Роли SageMaker .

Примечание

Чтобы передать эту роль SageMaker, вызывающий эту API должен обладать разрешением iam:PassRole.

--input-data-config (список)

Массив объектов Channel. Каждый канал — это именованный источник ввода. InputDataConfig описывает входные данные и их расположение.

Алгоритмы могут принимать входные данные из одного или нескольких каналов. Например, алгоритм может иметь два канала входных данных, training_data и validation_data. Настройка для каждого канала предоставляет расположение в S3, EFS или FSx, где хранятся входные данные. Она также содержит информацию о хранимых данных: тип MIME, метод сжатия и то, обернуты ли данные в формате RecordIO.

В зависимости от режима ввода, поддерживаемого алгоритмом, SageMaker либо копирует файлы входных данных из корзины S3 в локальный каталог в контейнере Docker, либо делает их доступными как потоки ввода. Например, если вы указываете расположение EFS, файлы входных данных доступны как потоки ввода. Их не нужно загружать.

Ваш вход должен находиться в той же области Amazon Web Services, что и ваша задача обучения.

(структура)

Канал — это именованный источник ввода, который могут использовать алгоритмы обучения.

ChannelName -> (строка)

Имя канала.

DataSource -> (структура)

Расположение данных канала.

S3DataSource -> (структура)

Расположение данных источника S3, связанного с каналом.

S3DataType -> (строка)

Если вы выбираете S3Prefix, S3Uri идентифицирует префикс имени ключа. SageMaker использует все объекты, соответствующие заданному префиксу имени ключа, для обучения модели.

Если вы выбираете ManifestFile, S3Uri идентифицирует объект, который является файлом манифеста, содержащим список ключей объектов, которые вы хотите использовать SageMaker для обучения модели.

Если вы выбираете AugmentedManifestFile, S3Uri идентифицирует объект, который является расширенным файлом манифеста в формате JSON-строк. Этот файл содержит данные, которые вы хотите использовать для обучения модели. AugmentedManifestFile может быть использован только в том случае, если режим ввода канала — Pipe.

S3Uri -> (строка)

В зависимости от значения, указанного для S3DataType, идентифицирует либо префикс имени ключа, либо манифест. Например:

  • Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/
  • Манифест может выглядеть так: s3://bucketname/example.manifest. Манифест — это объект S3, который представляет собой JSON-файл, состоящий из массива элементов. Первый элемент — это префикс, за которым следуют один или несколько суффиксов. SageMaker добавляет суффиксные элементы к префиксу, чтобы получить полный набор S3Uri. Обратите внимание, что префикс должен быть допустимым ненулевым S3Uri, что предотвращает пользователям от указания манифеста, чьи отдельные S3Uri взяты из разных ведер S3. Следующий пример кода показывает допустимый формат манифеста: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Этот JSON эквивалентен следующему списку S3Uri: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uri в этом манифесте представляет собой входные данные для канала для этого источника данных. Объект, на который указывает каждый S3Uri, должен быть доступен для IAM-роли, которую SageMaker использует для выполнения задач от вашего имени.

Ваше ведро ввода должно находиться в той же области Amazon Web Services, что и ваша задача обучения.

S3DataDistributionType -> (строка)

Если вы хотите, чтобы SageMaker реплицировал весь набор данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите FullyReplicated.

Если вы хотите, чтобы SageMaker реплицировал подмножество данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите ShardedByS3Key. Если для задачи обучения запущено n экземпляров вычислительных ресурсов ML, каждый экземпляр получает примерно 1/n от количества объектов S3. В этом случае обучение модели на каждом компьютере использует только подмножество обучающих данных.

Не выбирайте больше экземпляров вычислительных ресурсов ML для обучения, чем доступных объектов S3. В противном случае некоторые узлы не получат данные, и вы будете платить за узлы, которые не участвуют в обучении. Это относится как к режиму File, так и к режиму Pipe. Имейте это в виду при разработке алгоритмов.

В распределенном обучении, где вы используете несколько экземпляров EC2 ML-вычислительных ресурсов, вы можете выбрать ShardedByS3Key. Если алгоритм требует копирования обучающих данных на объем памяти ML (когда TrainingInputMode установлено в File), это копирует 1/n от количества объектов.

AttributeNames -> (список)

Список одного или нескольких имен атрибутов для использования, которые находятся в указанном расширенном файле манифеста.

(строка)

InstanceGroupNames -> (список)

Список имен групп экземпляров, получающих данные из источника данных S3.

(строка)

ModelAccessConfig -> (структура)

Файл конфигурации доступа для управления доступом к модели ML. Вы можете явно принять соглашение об использовании конечного пользователя модели (EULA) в ModelAccessConfig.

  • Если вы пользователь Jumpstart, см. раздел Соглашения об использовании конечным пользователем для получения дополнительной информации о принятии EULA.
  • Если вы пользователь AutoML, см. раздел Дополнительные параметры раздела Создание задачи AutoML для дообучения моделей генерации текста с помощью API для получения информации о том, как установить принятие EULA при дообучении модели с помощью API AutoML.

AcceptEula -> (булево)

Указывает согласие с соглашением об использовании конечным пользователем модели (EULA). Значение AcceptEula должно быть явно определено как True, чтобы принять EULA, требуемое этой моделью. Вы несете ответственность за ознакомление с любыми применимыми лицензионными условиями и за то, чтобы они были приемлемыми для вашего использования, прежде чем загружать или использовать модель.

HubAccessConfig -> (структура)

Настройка для ссылки на модель частного хаба, которая указывает на общедоступную модель хаба SageMaker JumpStart.

HubContentArn -> (строка)

ARN вашего контента модели частного хаба. Это должен быть ресурс типа ModelReference, указывающий на общедоступную модель хаба SageMaker JumpStart.

FileSystemDataSource -> (структура)

Файловая система, связанная с каналом.

FileSystemId -> (строка)

Идентификатор файловой системы.

FileSystemAccessMode -> (строка)

Режим доступа к монтированию каталога, связанного с каналом. Каталог может быть смонтирован либо в режиме ro (только чтение), либо в режиме rw (чтение/запись).

FileSystemType -> (строка)

Тип файловой системы.

DirectoryPath -> (строка)

Полный путь к каталогу для связи с каналом.

ContentType -> (строка)

Тип MIME данных.

CompressionType -> (строка)

Если обучающие данные сжаты, тип сжатия. Значение по умолчанию — None. CompressionType используется только в режиме ввода Pipe. В режиме File оставьте это поле незаполненным или установите его в None.

RecordWrapperType -> (строка)

Укажите RecordIO, когда входные данные находятся в сыром формате, но алгоритм обучения требует формата RecordIO. В этом случае SageMaker оборачивает каждый отдельный объект S3 в запись RecordIO. Если входные данные уже находятся в формате RecordIO, вам не нужно устанавливать этот атрибут. Для получения дополнительной информации см. Создайте набор данных с помощью RecordIO.

В режиме File оставьте это поле незаполненным или установите его в None.

InputMode -> (строка)

(Необязательно) Режим ввода для канала данных в задаче обучения. Если вы не зададите значение для InputMode, SageMaker использует значение, заданное для TrainingInputMode. Используйте этот параметр, чтобы переопределить значение TrainingInputMode в запросе AlgorithmSpecification, когда у вас есть канал, которому необходим другой режим ввода, отличный от общего режима задачи обучения. Чтобы загрузить данные из Amazon Simple Storage Service (Amazon S3) в объем памяти ML, предоставленный для размещения, и смонтировать каталог в объем Docker, используйте режим ввода File. Чтобы передавать данные напрямую из Amazon S3 в контейнер, выберите режим ввода Pipe.

Для использования модели для инкрементального обучения выберите режим ввода File.

ShuffleConfig -> (структура)

Настройка для опции перемешивания входных данных в канале. Если вы используете S3Prefix для S3DataType, это перемешивает результаты совпадений префикса ключа S3. Если вы используете ManifestFile, порядок ссылок на объекты S3 в ManifestFile перемешивается. Если вы используете AugmentedManifestFile, порядок JSON-строк в AugmentedManifestFile перемешивается. Порядок перемешивания определяется значением Seed.

Для режима ввода Pipe перемешивание выполняется в начале каждой эпохи. При работе с большими наборами данных это гарантирует, что порядок обучающих данных отличается для каждой эпохи, что помогает снизить смещение и возможную переобученность. В задаче обучения на нескольких узлах, когда ShuffleConfig объединяется с S3DataDistributionType из ShardedByS3Key, данные перемешиваются по узлам, так что контент, отправленный на определенный узел в первой эпохе, может быть отправлен на другой узел во второй эпохе.

Seed -> (целое число)

Определяет порядок перемешивания в значении ShuffleConfig.

Синтаксис JSON:

[
  {
    "ChannelName": "string",
    "DataSource": {
      "S3DataSource": {
        "S3DataType": "ManifestFile"|"S3Prefix"|"AugmentedManifestFile",
        "S3Uri": "string",
        "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
        "AttributeNames": ["string", ...],
        "InstanceGroupNames": ["string", ...],
        "ModelAccessConfig": {
          "AcceptEula": true|false
        },
        "HubAccessConfig": {
          "HubContentArn": "string"
        }
      },
      "FileSystemDataSource": {
        "FileSystemId": "string",
        "FileSystemAccessMode": "rw"|"ro",
        "FileSystemType": "EFS"|"FSxLustre",
        "DirectoryPath": "string"
      }
    },
    "ContentType": "string",
    "CompressionType": "None"|"Gzip",
    "RecordWrapperType": "None"|"RecordIO",
    "InputMode": "Pipe"|"File"|"FastFile",
    "ShuffleConfig": {
      "Seed": long
    }
  }
  ...
]

--output-data-config (структура)

Указывает путь к расположению в S3, где вы хотите сохранить артефакты модели. SageMaker создает подкаталоги для артефактов.

KmsKeyId -> (строка)

Ключ службы управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования артефактов модели в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может быть в одном из следующих форматов:

  • // Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
  • // Amazon Resource Name (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
  • // Псевдоним ключа KMS "alias/ExampleAlias"
  • // Amazon Resource Name (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения на вызов kms:Encrypt . Если вы не предоставляете идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в руководстве разработчика Amazon Simple Storage Service . Если выходные данные хранятся в Amazon S3 Express One Zone, они шифруются с помощью шифрования на стороне сервера с управляемыми ключами Amazon S3 (SSE-S3). Ключ KMS не поддерживается для Amazon S3 Express One Zone

Политика ключа KMS должна предоставлять разрешение на IAM-роли, которую вы указали в запросах CreateTrainingJob , CreateTransformJob или CreateHyperParameterTuningJob . Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в руководстве разработчика Amazon Web Services Key Management Service .

S3OutputPath -> (строка)

Указывает путь в S3, где вы хотите, чтобы SageMaker хранил артефакты модели. Например, s3://bucket-name/key-name-prefix .

CompressionType -> (строка)

Тип сжатия выходных данных модели. Выберите None для вывода нескомпрессированной модели, рекомендуется для больших выходных данных модели. По умолчанию используется gzip.

Сокращенная запись:

KmsKeyId=string,S3OutputPath=string,CompressionType=string

Формат JSON:

{
  "KmsKeyId": "string",
  "S3OutputPath": "string",
  "CompressionType": "GZIP"|"NONE"
}

--resource-config (структура)

Ресурсы, включая ML-вычислительные экземпляры и ML-тома хранения, которые нужно использовать для обучения модели.

ML-тома хранения хранят артефакты модели и промежуточные состояния. Алгоритмы обучения также могут использовать ML-тома хранения для временного пространства. Если вы хотите, чтобы SageMaker использовал ML-том хранения для хранения обучающих данных, выберите File в качестве TrainingInputMode в спецификации алгоритма. Для распределенных алгоритмов обучения укажите количество экземпляров больше 1.

InstanceType -> (строка)

Тип ML-вычислительного экземпляра.

Примечание

Обучение SageMaker на экземплярах Amazon Elastic Compute Cloud (EC2) P4de находится в предварительной версии с 9 декабря 2022 года.

Экземпляры Amazon EC2 P4de (в настоящее время в предварительной версии) работают на 8 NVIDIA A100 GPU с 80 ГБ высокопроизводительной памяти HBM2e GPU, что ускоряет скорость обучения ML-моделей, которые требуют обучения на больших наборах данных с данными высокого разрешения. В этом предварительном выпуске Amazon SageMaker поддерживает ML-задачи обучения на экземплярах P4de (ml.p4de.24xlarge ), чтобы сократить время обучения модели. ml.p4de.24xlarge экземпляры доступны в следующих регионах Amazon Web Services.
  • США Восточный (N. Вирджиния) (us-east-1)
  • США Западный (Орегон) (us-west-2)

Чтобы запросить увеличение лимита квот и начать использовать экземпляры P4de, обратитесь в службу поддержки SageMaker Training через свою команду по работе с аккаунтом.

InstanceCount -> (целое число)

Количество ML-вычислительных экземпляров для использования. Для распределенного обучения укажите значение больше 1.

VolumeSizeInGB -> (целое число)

Размер ML-тома хранения, который вы хотите зарезервировать.

ML-тома хранения хранят артефакты модели и промежуточные состояния. Алгоритмы обучения также могут использовать ML-том хранения для временного пространства. Если вы хотите хранить обучающие данные в ML-томе хранения, выберите File в качестве TrainingInputMode в спецификации алгоритма.

При использовании ML-экземпляра с томами NVMe SSD SageMaker не резервирует хранилище Amazon EBS General Purpose SSD (gp2). Доступное хранилище фиксируется к емкости хранилища экземпляра типа NVMe. SageMaker настраивает пути к хранилищу для обучающих наборов данных, контрольных точек, артефактов модели и выходов, чтобы использовать всю емкость хранилища экземпляра. Например, семейства ML-экземпляров с хранилищем экземпляра типа NVMe включают ml.p4d , ml.g4dn и ml.g5 .

При использовании ML-экземпляра с опцией хранилища только EBS и без хранилища экземпляра вы должны определить размер тома EBS через VolumeSizeInGB в ResourceConfig API. Например, семейства ML-экземпляров, использующие тома EBS, включают ml.c5 и ml.p2 .

Чтобы найти типы экземпляров и типы хранилища и тома экземпляров, см. Типы экземпляров Amazon EC2 .

Чтобы найти стандартные локальные пути, определенные платформой обучения SageMaker, см. Папки хранения Amazon SageMaker Training для наборов данных, контрольных точек, артефактов модели и выходов .

VolumeKmsKeyId -> (строка)

Ключ Amazon Web Services KMS, который SageMaker использует для шифрования данных в томе хранения, подключенном к ML-вычислительному экземпляру(ам), которые выполняют задачу обучения.

Примечание

Некоторые экземпляры на основе Nitro включают локальное хранилище, зависящее от типа экземпляра. Локальные тома хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, поддерживающих локальное хранилище экземпляра, см. в Разделы хранилища экземпляра .

Дополнительную информацию о шифровании локального хранилища экземпляра см. в Тома хранилища экземпляра SSD .

VolumeKmsKeyId может быть в одном из следующих форматов:

  • // Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
  • // Amazon Resource Name (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

KeepAlivePeriodInSeconds -> (целое число)

Продолжительность в секундах для сохранения настроенных ресурсов в пуле подогрева для последующих задач обучения.

InstanceGroups -> (список)

Конфигурация гетерогенного кластера в формате JSON.

(структура)

Определяет группу экземпляров для гетерогенного кластера обучения. При запросе задачи обучения с помощью API CreateTrainingJob вы можете настроить несколько групп экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

InstanceCount -> (целое число)

Указывает количество экземпляров группы экземпляров.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

TrainingPlanArn -> (строка)

Amazon Resource Name (ARN) используемого плана обучения для этой конфигурации ресурсов.

Сокращенная запись:

InstanceType=string,InstanceCount=integer,VolumeSizeInGB=integer,VolumeKmsKeyId=string,KeepAlivePeriodInSeconds=integer,InstanceGroups=[{InstanceType=string,InstanceCount=integer,InstanceGroupName=string},{InstanceType=string,InstanceCount=integer,InstanceGroupName=string}],TrainingPlanArn=string

Формат JSON:

{
  "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
  "InstanceCount": integer,
  "VolumeSizeInGB": integer,
  "VolumeKmsKeyId": "string",
  "KeepAlivePeriodInSeconds": integer,
  "InstanceGroups": [
    {
      "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
      "InstanceCount": integer,
      "InstanceGroupName": "string"
    }
    ...
  ],
  "TrainingPlanArn": "string"
}

--vpc-config (структура)

Объект VpcConfig, указывающий VPC, к которому вы хотите подключить задачу обучения. Настройте VPC для управления доступом к вашему контейнеру обучения и из него. Дополнительную информацию см. в разделе Защита задач обучения с помощью виртуальной частной сети Amazon .

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets .

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить задачу обучения или модель. Информацию о доступности определенных типов экземпляров см. в разделе Поддерживаемые типы экземпляров и доступные зоны .

(строка)

Сокращенная запись:

SecurityGroupIds=string,string,Subnets=string,string

Формат JSON:

{
  "SecurityGroupIds": ["string", ...],
  "Subnets": ["string", ...]
}

--stopping-condition (структура)

Устанавливает лимит времени выполнения задачи обучения модели. Также устанавливает, сколько времени у управляемой задачи обучения Spot должно быть для завершения. Когда задача достигает лимита времени, SageMaker завершает задачу обучения. Используйте этот API для ограничения расходов на обучение модели.

Чтобы остановить задачу, SageMaker отправляет алгоритму сигнал SIGTERM, что откладывает завершение задачи на 120 секунд. Алгоритмы могут использовать этот 120-секундный интервал для сохранения артефактов модели, чтобы результаты обучения не потерялись.

MaxRuntimeInSeconds -> (целое число)

Максимальная продолжительность в секундах, в течение которой задача обучения или компиляции может выполняться, прежде чем она будет остановлена.

Для задач компиляции, если задача не завершится за это время, будет сгенерирована ошибка TimeOut. Рекомендуется начать с 900 секунд и увеличивать по мере необходимости в зависимости от вашей модели.

Для всех остальных задач, если задача не завершится за это время, SageMaker завершит задачу. Когда RetryStrategy указана в запросе на задачу, MaxRuntimeInSeconds указывает максимальное время для всех попыток в целом, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение составляет 28 дней.

Максимальное время, которое может выполняться TrainingJob в целом, включая любое время, затраченное на публикацию метрик или архивацию и загрузку моделей после остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время в секундах, в течение которого управляемая задача обучения Spot должна завершиться. Это время, потраченное на ожидание ресурсов Spot плюс время, в течение которого задача может выполняться. Оно должно быть равно или больше MaxRuntimeInSeconds . Если задача не завершится за это время, SageMaker завершит задачу.

Когда RetryStrategy указана в запросе на задачу, MaxWaitTimeInSeconds указывает максимальное время для всех попыток в целом, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальная продолжительность в секундах, в течение которой задача обучения или компиляции может находиться в состоянии ожидания, прежде чем она будет остановлена.

Примечание

При работе с задачами обучения, использующими емкость из планов обучения, не все состояния задач Pending учитываются в лимите MaxPendingTimeInSeconds . В следующих сценариях счетчик MaxPendingTimeInSeconds не увеличивается:

  • План находится в состоянии Scheduled : Задачи в очереди (со статусом Pending ) до даты начала плана (ожидание запланированного времени начала)
  • Между резервированием ресурсов: Задачи временно возвращаются в состояние Pending между двумя периодами резервирования ресурсов
MaxPendingTimeInSeconds увеличивается только тогда, когда задачи активно ожидают емкости в плане Active .

Сокращенная запись:

MaxRuntimeInSeconds=integer,MaxWaitTimeInSeconds=integer,MaxPendingTimeInSeconds=integer

Формат JSON:

{
  "MaxRuntimeInSeconds": integer,
  "MaxWaitTimeInSeconds": integer,
  "MaxPendingTimeInSeconds": integer
}

--tags (список)

Массив пар ключ-значение. Вы можете использовать теги для категоризации ресурсов Amazon Web Services различными способами, например, по назначению, владельцу или среде. Дополнительная информация представлена в разделе Маркирование ресурсов Amazon Web Services.

Предупреждение

Не включайте в теги конфиденциальную информацию, включая идентификаторы доступа к учетной записи, секреты или токены. В рамках модели совместной ответственности вы несете ответственность за возможную утечку, несанкционированный доступ или компрометацию ваших конфиденциальных данных, если она вызвана какой-либо конфиденциальной информацией, включенной в переменную тега запроса или поля текстового поля.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемого для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять теги к экземплярам ноутбуков, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении тегов к ресурсам SageMaker можно найти в разделе AddTags.

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью маркирования см. в разделе Маркирование ресурсов Amazon Web Services. Советы по лучшим практикам управления ресурсами Amazon Web Services с помощью маркирования см. в разделе Принципы наилучшей практики маркирования: реализация эффективной стратегии маркирования ресурсов Amazon Web Services.

Ключ -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Значение -> (строка)

Значение тега.

Упрощенная синтаксическая запись:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--enable-network-isolation | --no-enable-network-isolation (булево)

Изолирует контейнер обучения. Нельзя выполнять входящие или исходящие сетевые вызовы, за исключением вызовов между узлами в кластере обучения для распределенного обучения. Если вы включите изоляцию сети для заданий обучения, настроенных для использования VPC, SageMaker загружает и загружает данные клиента и артефакты моделей через указанный VPC, но контейнер обучения не имеет доступа к сети.

--enable-inter-container-traffic-encryption | --no-enable-inter-container-traffic-encryption (булево)

Для шифрования всех коммуникаций между экземплярами вычислительных ресурсов ML в распределенном обучении выберите True. Шифрование обеспечивает большую безопасность для распределенного обучения, но обучение может занять больше времени. Время зависит от объема коммуникации между вычислительными экземплярами, особенно если вы используете алгоритм глубокого обучения в распределенном обучении. Дополнительную информацию см. в разделе Защита коммуникаций между экземплярами вычислительных ресурсов ML в задании распределенного обучения.

--enable-managed-spot-training | --no-enable-managed-spot-training (булево)

Для обучения моделей с использованием управляемого обучения на выделенных ресурсах выберите True. Управляемое обучение на выделенных ресурсах предоставляет полностью управляемую и масштабируемую инфраструктуру для обучения моделей машинного обучения. Этот параметр полезен, когда задания обучения могут прерываться и когда есть гибкость во времени выполнения задания обучения.

Полные и промежуточные результаты заданий хранятся в ведре Amazon S3 и могут быть использованы в качестве отправной точки для поэтапного обучения моделей. Amazon SageMaker предоставляет метрики и журналы в CloudWatch. Их можно использовать для наблюдения за тем, как управляемые задания обучения на выделенных ресурсах выполняются, прерываются, возобновляются или завершаются.

--checkpoint-config (структура)

Содержит информацию о расположении вывода для данных контрольных точек управляемого обучения на выделенных ресурсах.

S3Uri -> (строка)

Указывает путь S3, куда SageMaker должен сохранить контрольные точки. Например, s3://bucket-name/key-name-prefix.

LocalPath -> (строка)

(Необязательно) Местный каталог, в котором сохраняются контрольные точки. По умолчанию используется каталог /opt/ml/checkpoints/.

Упрощенная синтаксическая запись:

S3Uri=string,LocalPath=string

Синтаксис JSON:

{
  "S3Uri": "string",
  "LocalPath": "string"
}

--debug-hook-config (структура)

Конфигурационная информация для параметров подключаемого модуля отладчика Amazon SageMaker, сбора метрик и тензоров, а также путей к хранилищу. Чтобы узнать больше о том, как настроить параметр DebugHookConfig, см. Использование операций API SageMaker и отладчика для создания, обновления и отладки вашего задания обучения.

LocalPath -> (строка)

Путь к локальному хранилищу для метрик и тензоров. По умолчанию используется /opt/ml/output/tensors/.

S3OutputPath -> (строка)

Путь к хранилищу Amazon S3 для метрик и тензоров.

HookParameters -> (карта)

Конфигурационная информация для параметров подключаемого модуля отладчика Amazon SageMaker.

ключ -> (строка)

значение -> (строка)

CollectionConfigurations -> (список)

Конфигурационная информация для сборок тензоров Amazon SageMaker Debugger. Чтобы узнать больше о том, как настроить параметр CollectionConfiguration, см. Использование операций API SageMaker и отладчика для создания, обновления и отладки вашего задания обучения.

(структура)

Конфигурационная информация для сборок тензоров вывода Amazon SageMaker Debugger.

CollectionName -> (строка)

Имя сборки тензоров. Имя должно быть уникальным относительно других имен конфигураций правил.

CollectionParameters -> (карта)

Значения параметров для сборки тензоров. Допустимые параметры - "name", "include_regex", "reduction_config", "save_config", "tensor_names" и "save_histogram".

ключ -> (строка)

значение -> (строка)

Упрощенная синтаксическая запись:

LocalPath=string,S3OutputPath=string,HookParameters={KeyName1=string,KeyName2=string},CollectionConfigurations=[{CollectionName=string,CollectionParameters={KeyName1=string,KeyName2=string}},{CollectionName=string,CollectionParameters={KeyName1=string,KeyName2=string}}]

Синтаксис JSON:

{
  "LocalPath": "string",
  "S3OutputPath": "string",
  "HookParameters": {"string": "string"
    ...},
  "CollectionConfigurations": [
    {
      "CollectionName": "string",
      "CollectionParameters": {"string": "string"
        ...}
    }
    ...
  ]
}

--debug-rule-configurations (список)

Конфигурационная информация для правил Amazon SageMaker Debugger для отладки выходных тензоров.

(структура)

Конфигурационная информация для правил SageMaker Debugger для отладки. Чтобы узнать больше о том, как настроить параметр DebugRuleConfiguration, см. Использование операций API SageMaker и отладчика для создания, обновления и отладки вашего задания обучения.

RuleConfigurationName -> (строка)

Имя конфигурации правила. Оно должно быть уникальным относительно других имен конфигураций правил.

LocalPath -> (строка)

Путь к локальному хранилищу для вывода правил. По умолчанию используется /opt/ml/processing/output/rule/.

S3OutputPath -> (строка)

Путь к хранилищу Amazon S3 для правил.

RuleEvaluatorImage -> (строка)

Изображение Amazon Elastic Container (ECR) для управляемой оценки правил.

InstanceType -> (строка)

Тип экземпляра для развертывания пользовательского правила отладки задания обучения.

VolumeSizeInGB -> (целое число)

Размер, в ГБ, объема ML-хранилища, подключенного к экземпляру обработки.

RuleParameters -> (карта)

Конфигурация среды выполнения для контейнера правила.

ключ -> (строка)

значение -> (строка)

Упрощенная синтаксическая запись:

RuleConfigurationName=string,LocalPath=string,S3OutputPath=string,RuleEvaluatorImage=string,InstanceType=string,VolumeSizeInGB=integer,RuleParameters={KeyName1=string,KeyName2=string} ...

Синтаксис JSON:

[
  {
    "RuleConfigurationName": "string",
    "LocalPath": "string",
    "S3OutputPath": "string",
    "RuleEvaluatorImage": "string",
    "InstanceType": "ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge",
    "VolumeSizeInGB": integer,
    "RuleParameters": {"string": "string"
      ...}
  }
  ...
]

--tensor-board-output-config (структура)

Конфигурация расположения хранилища для данных вывода TensorBoard Amazon SageMaker Debugger.

LocalPath -> (строка)

Путь к локальному хранилищу для вывода tensorBoard. По умолчанию используется /opt/ml/output/tensorboard.

S3OutputPath -> (строка)

Путь к хранилищу Amazon S3 для вывода TensorBoard.

Упрощенная синтаксическая запись:

LocalPath=string,S3OutputPath=string

Синтаксис JSON:

{
  "LocalPath": "string",
  "S3OutputPath": "string"
}

--experiment-config (структура)

Связывает задание SageMaker в качестве компонента испытания с экспериментом и испытанием. Указывается при вызове следующих API:

  • CreateProcessingJob
  • CreateTrainingJob
  • CreateTransformJob

ExperimentName -> (строка)

Имя существующего эксперимента, который нужно связать с компонентом испытания.

TrialName -> (строка)

Имя существующего испытания, с которым нужно связать компонент испытания. Если не указано, создается новое испытание.

TrialComponentDisplayName -> (строка)

Имя для отображения компонента испытания. Если этот ключ не указан, имя для отображения совпадает с именем компонента испытания.

RunName -> (строка)

Имя экспериментального выполнения, которое нужно связать с компонентом испытания.

Упрощенная синтаксическая запись:

ExperimentName=string,TrialName=string,TrialComponentDisplayName=string,RunName=string

Синтаксис JSON:

{
  "ExperimentName": "string",
  "TrialName": "string",
  "TrialComponentDisplayName": "string",
  "RunName": "string"
}

--profiler-config (структура)

Конфигурационная информация для мониторинга системы Amazon SageMaker Debugger, профилирования фреймворка и путей к хранилищу.

S3OutputPath -> (строка)

Путь к хранилищу Amazon S3 для метрик системы и фреймворка.

ProfilingIntervalInMilliseconds -> (длинное целое число)

Интервал времени для сбора метрик системы в миллисекундах. Допустимые значения: 100, 200, 500, 1000 (1 секунда), 5000 (5 секунд) и 60000 (1 минута) миллисекунд. Значение по умолчанию — 500 миллисекунд.

ProfilingParameters -> (карта)

Конфигурационная информация для сбора метрик фреймворка. Допустимые строковые ключи для различных вариантов профилирования — DetailedProfilingConfig, PythonProfilingConfig и DataLoaderProfilingConfig. Следующие коды представляют конфигурационные структуры для параметра ProfilingParameters. Дополнительную информацию о том, как настроить параметр ProfilingParameters, см. в разделе Использование операций API SageMaker и отладчика для создания, обновления и отладки вашего задания обучения.

ключ -> (строка)

значение -> (строка)

DisableProfiler -> (булево)

Конфигурация для отключения функции мониторинга и профилирования системы Amazon SageMaker Debugger. Для отключения установите значение True.

Упрощенная синтаксическая запись:

S3OutputPath=string,ProfilingIntervalInMilliseconds=long,ProfilingParameters={KeyName1=string,KeyName2=string},DisableProfiler=boolean

Синтаксис JSON:

{
  "S3OutputPath": "string",
  "ProfilingIntervalInMilliseconds": long,
  "ProfilingParameters": {"string": "string"
    ...},
  "DisableProfiler": true|false
}

--profiler-rule-configurations (список)

Сведения о конфигурации правил Amazon SageMaker Debugger для профилирования метрик системы и фреймворка.

(структура)

Сведения о конфигурации правил профилирования.

RuleConfigurationName -> (строка)

Имя конфигурации правила. Оно должно быть уникальным по отношению к другим именам конфигураций правил.

LocalPath -> (строка)

Путь к локальному хранилищу для вывода правил. По умолчанию установлено значение /opt/ml/processing/output/rule/ .

S3OutputPath -> (строка)

Путь к расположению хранилища Amazon S3 для правил.

RuleEvaluatorImage -> (строка)

Изображение Amazon Elastic Container Registry для управляемой оценки правила.

InstanceType -> (строка)

Тип экземпляра для развертывания пользовательского правила для профилирования задания обучения.

VolumeSizeInGB -> (целое число)

Размер ML хранилища в ГБ, подключенного к экземпляру обработки.

RuleParameters -> (словарь)

Конфигурация среды выполнения для контейнера правила.

ключ -> (строка)

значение -> (строка)

Краткая форма синтаксиса:

RuleConfigurationName=string,LocalPath=string,S3OutputPath=string,RuleEvaluatorImage=string,InstanceType=string,VolumeSizeInGB=integer,RuleParameters={KeyName1=string,KeyName2=string} ...

Синтаксис JSON:

[
  {
    "RuleConfigurationName": "string",
    "LocalPath": "string",
    "S3OutputPath": "string",
    "RuleEvaluatorImage": "string",
    "InstanceType": "ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge",
    "VolumeSizeInGB": integer,
    "RuleParameters": {"string": "string"
      ...}
  }
  ...
]

--environment (словарь)

Переменные среды, которые необходимо установить в контейнере Docker.

Предупреждение

Не включайте в какие-либо поля среды конфиденциальную информацию, включая идентификаторы доступа к учетной записи, секреты или токены. В рамках модели совместной ответственности вы несете ответственность за любые потенциальные уязвимости, несанкционированный доступ или компрометацию ваших конфиденциальных данных, если это вызвано включенной в переменной среды запроса или в полях простого текста конфиденциальной информацией.

ключ -> (строка)

значение -> (строка)

Краткая форма синтаксиса:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--retry-strategy (структура)

Количество попыток повторного выполнения задания при его неудачном завершении из-за InternalServerError .

MaximumRetryAttempts -> (целое число)

Количество попыток повторного выполнения задания. При повторном выполнении задания SecondaryStatus изменяется на STARTING .

Краткая форма синтаксиса:

MaximumRetryAttempts=integer

Синтаксис JSON:

{
  "MaximumRetryAttempts": integer
}

--remote-debug-config (структура)

Конфигурация для удаленной отладки. Чтобы узнать больше об удаленной функции отладки SageMaker, см. Доступ к контейнеру обучения через Amazon Web Services Systems Manager (SSM) для удаленной отладки .

EnableRemoteDebug -> (булево)

При установке в значение True удаленная отладка включена.

Краткая форма синтаксиса:

EnableRemoteDebug=boolean

Синтаксис JSON:

{
  "EnableRemoteDebug": true|false
}

--infra-check-config (структура)

Содержит информацию о конфигурации проверки состояния инфраструктуры для задания обучения.

EnableInfraCheck -> (булево)

Включает проверку состояния инфраструктуры.

Краткая форма синтаксиса:

EnableInfraCheck=boolean

Синтаксис JSON:

{
  "EnableInfraCheck": true|false
}

--session-chaining-config (структура)

Содержит информацию об управлении доступом на основе атрибутов (ABAC) для задания обучения.

EnableSessionTagChaining -> (булево)

Установите в значение True, чтобы SageMaker мог извлечь теги сеанса из роли создания задания обучения и повторно использовать эти теги при принятии роли выполнения задания обучения.

Краткая форма синтаксиса:

EnableSessionTagChaining=boolean

Синтаксис JSON:

{
  "EnableSessionTagChaining": true|false
}

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставляемому --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет интерпретирована буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводит пример JSON-ввода, который может использоваться в качестве аргумента для --cli-input-json. Аналогично, при предоставлении yaml-input он выведет пример YAML-ввода, который можно использовать с --cli-input-yaml. При предоставлении значения output он проверит входные данные команд и вернет пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Общие параметры

--debug (булево)

Включает отладочную запись в журнал.

--endpoint-url (строка)

Переопределяет значение по умолчанию URL-адреса команды указанным URL-адресом.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI проверит сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (булево)

Отключает автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команд.

  • json
  • текст
  • таблица
  • yaml
  • поток-yaml

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использование определенного профиля из файла учетных данных.

--region (строка)

Используемый регион. Переопределяет настройки конфигурации/окружения.

--version (строка)

Отображение версии этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

  • включено
  • выключено
  • автоматически

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружаться, если этот аргумент предоставлен.

--ca-bundle (строка)

Набор сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/окружения.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, соответствующего двоичному блоку, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного параметра cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (булево)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (булево)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

TrainingJobArn -> (строка)

Amazon Resource Name (ARN) задания обучения.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API