create-hyper-parameter-tuning-job

Описание

Запускает задание настройки гиперпараметров. Задание настройки гиперпараметров находит лучшую версию модели, выполняя множество задач обучения на вашем наборе данных с использованием выбранного алгоритма и значений гиперпараметров в заданных диапазонах. Затем оно выбирает значения гиперпараметров, которые приводят к модели с наилучшей производительностью, измеренной с помощью выбранной вами метрики.

Задание настройки гиперпараметров автоматически создает эксперименты Amazon SageMaker, испытания и компоненты испытаний для каждой выполняемой задачи обучения. Вы можете просмотреть эти сущности в Amazon SageMaker Studio. Для получения дополнительной информации см. Просмотр экспериментов, испытаний и компонентов испытаний.

Предупреждение

Не включайте никакую конфиденциальную информацию, включая идентификаторы доступа к учетной записи, секреты или токены, в какие-либо поля гиперпараметров. В соответствии с моделью совместной ответственности вы несете ответственность за любое потенциальное раскрытие, несанкционированный доступ или компрометацию ваших конфиденциальных данных, если это вызвано любой конфиденциальной информацией, включенной в переменные запроса гиперпараметров или поля обычного текста..

См. также: Документацию API AWS

Синтаксис

  create-hyper-parameter-tuning-job
--hyper-parameter-tuning-job-name <value>
--hyper-parameter-tuning-job-config <value>
[--training-job-definition <value>]
[--training-job-definitions <value>]
[--warm-start-config <value>]
[--tags <value>]
[--autotune <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--hyper-parameter-tuning-job-name (строка)

Имя задания настройки. Это имя является префиксом для имён всех заданий обучения, которые запускает это задание настройки. Имя должно быть уникальным в рамках одной учетной записи Amazon Web Services и региона Amazon Web Services. Имя должно содержать от 1 до 32 символов. Допустимые символы — a-z, A-Z, 0-9, и : + = @ _ % - (тире). Имя не чувствительно к регистру.

--hyper-parameter-tuning-job-config (структура)

Объект HyperParameterTuningJobConfig, описывающий задание настройки, включая стратегию поиска, метрику цели, используемую для оценки заданий обучения, диапазоны параметров для поиска и ограничения ресурсов для задания настройки. Дополнительная информация доступна в разделе Как работает настройка гиперпараметров .

Strategy -> (строка)

Указывает, как настройка гиперпараметров выбирает комбинации значений гиперпараметров для задания обучения, которое запускает. Дополнительная информация о стратегиях поиска доступна в разделе Как работает настройка гиперпараметров .

StrategyConfig -> (структура)

Настройка стратегии оптимизации Hyperband. Этот параметр должен быть предоставлен только в том случае, если Hyperband выбрано в качестве стратегии для HyperParameterTuningJobConfig .

HyperbandStrategyConfig -> (структура)

Настройка объекта, который определяет стратегию Hyperband. Этот параметр поддерживается только для выбора Hyperband для Strategy в API HyperParameterTuningJobConfig.

MinResource -> (целое число)

Минимальное количество ресурсов (например, эпох), которые могут использоваться заданием обучения, запущенным заданием настройки гиперпараметров. Если значение для MinResource не достигнуто, задание обучения не останавливается Hyperband .

MaxResource -> (целое число)

Максимальное количество ресурсов (например, эпох), которые могут использоваться заданием обучения, запущенным заданием настройки гиперпараметров. После достижения значения MaxResource задание останавливается. Если значение для MaxResource не предоставлено, а Hyperband выбрано в качестве стратегии настройки гиперпараметров, HyperbandTraining пытается вывести MaxResource из следующих ключей (если они присутствуют) в StaticsHyperParameters :

epochs
numepochs
n-epochs
n_epochs
num_epochs

Если HyperbandStrategyConfig не может вывести значение для MaxResource , генерируется ошибка проверки. Максимальное значение — 20 000 эпох. Все метрики, соответствующие целевой метрике, используются для принятия решений об остановке обучения. Для заданий распределённого обучения убедитесь, что в логах не дублируются метрики на отдельных узлах задания обучения. Если несколько узлов публикуют дублированные или некорректные метрики, задания обучения могут принять неправильное решение об остановке и остановить задание преждевременно.

HyperParameterTuningJobObjective -> (структура)

HyperParameterTuningJobObjective определяет целевую метрику, используемую для оценки производительности заданий обучения, запущенных этим заданием настройки.

Type -> (строка)

Указывает, минимизировать или максимизировать целевую метрику.

MetricName -> (строка)

Имя метрики, используемой в качестве целевой метрики.

ResourceLimits -> (структура)

Объект ResourceLimits, указывающий максимальное количество заданий обучения и параллельных заданий обучения, которые могут быть использованы для этого задания настройки гиперпараметров.

MaxNumberOfTrainingJobs -> (целое число)

Максимальное количество заданий обучения, которое может запустить задание настройки гиперпараметров.

MaxParallelTrainingJobs -> (целое число)

Максимальное количество одновременных заданий обучения, которые может запустить задание настройки гиперпараметров.

MaxRuntimeInSeconds -> (целое число)

Максимальное время выполнения задания настройки гиперпараметров в секундах.

ParameterRanges -> (структура)

Объект ParameterRanges, указывающий диапазоны гиперпараметров, по которым это задание настройки ищет оптимальную конфигурацию для наилучшей производительности модели в соответствии с выбранной целевой метрикой.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, определяющих диапазоны целочисленных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа указывает диапазон, по которому задание настройки гиперпараметров ищет.

Name -> (строка)

Имя гиперпараметра для поиска.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Масштаб, который использует настройка гиперпараметров для поиска диапазона гиперпараметров. Дополнительная информация о выборе масштаба гиперпараметров доступна в разделе Масштабирование гиперпараметров . Одно из следующих значений:

Auto

Сервис настройки гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения больше 0.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, определяющих диапазоны непрерывных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

Минимальное значение гиперпараметра. Задание настройки использует значения с плавающей запятой между этим значением и MaxValue для настройки.

MaxValue -> (строка)

Максимальное значение гиперпараметра. Задание настройки использует значения с плавающей запятой между значением MinValue и этим значением для настройки.

ScalingType -> (строка)

Auto

Сервис настройки гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

ReverseLogarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя обратный логарифмический масштаб.

Обратное логарифмическое масштабирование работает только для диапазонов, которые полностью лежат в диапазоне 0<=x<1.0.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, определяющих диапазоны категориальных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примерные значения, которые используются Autotune для определения оптимальных диапазонов для вашего задания настройки.

(структура)

Имя и примерное значение гиперпараметра, который вы хотите использовать в Autotune. Если автоматическая настройка моделей (AMT) определяет, что ваш гиперпараметр подходит для Autotune, для вас выбирается оптимальный диапазон гиперпараметров.

Name -> (строка)

Имя гиперпараметра для оптимизации с помощью Autotune.

ValueHint -> (строка)

Примерное значение гиперпараметра для оптимизации с помощью Autotune.

TrainingJobEarlyStoppingType -> (строка)

Указывает, использовать ли раннее прекращение для заданий обучения, запущенных заданием настройки гиперпараметров. Поскольку стратегия Hyperband имеет свой собственный усовершенствованный внутренний механизм раннего прекращения, TrainingJobEarlyStoppingType должен быть OFF для использования Hyperband . Этот параметр может принимать одно из следующих значений (значение по умолчанию — OFF ):

OFF

Задания обучения, запущенные заданием настройки гиперпараметров, не используют раннее прекращение.

AUTO

SageMaker останавливает задания обучения, запущенные заданием настройки гиперпараметров, когда они вряд ли покажут лучшие результаты, чем ранее завершенные задания обучения. Дополнительная информация доступна в разделе Ранняя остановка заданий обучения.

TuningJobCompletionCriteria -> (структура)

Критерии завершения задания настройки.

TargetObjectiveMetricValue -> (вещественное число)

Значение целевой метрики.

BestObjectiveNotImproving -> (структура)

Флаг для остановки задания настройки гиперпараметров, если производительность модели не улучшается, как оценивается по целевой функции.

MaxNumberOfTrainingJobsNotImproving -> (целое число)

Количество заданий обучения, которые не смогли улучшить производительность модели на 1% или более по сравнению с предыдущими заданиями обучения, как оценивается по целевой функции.

ConvergenceDetected -> (структура)

Флаг для остановки задания настройки гиперпараметров, если автоматическая настройка моделей (AMT) определила, что ваша модель сошлась, как оценивается по целевой функции.

CompleteOnConvergence -> (строка)

Флаг для остановки задания настройки, как только AMT определит, что задание сошлось.

RandomSeed -> (целое число)

Значение, используемое для инициализации генератора псевдослучайных чисел. Установка случайного семени и использование того же семени позже для того же задания настройки позволит оптимизации гиперпараметров найти более согласованную конфигурацию гиперпараметров между двумя запусками.

Синтаксис JSON:

{
  "Strategy": "Bayesian"|"Random"|"Hyperband"|"Grid",
  "StrategyConfig": {
    "HyperbandStrategyConfig": {
      "MinResource": integer,
      "MaxResource": integer
    }
  },
  "HyperParameterTuningJobObjective": {
    "Type": "Maximize"|"Minimize",
    "MetricName": "string"
  },
  "ResourceLimits": {
    "MaxNumberOfTrainingJobs": integer,
    "MaxParallelTrainingJobs": integer,
    "MaxRuntimeInSeconds": integer
  },
  "ParameterRanges": {
    "IntegerParameterRanges": [
      {
        "Name": "string",
        "MinValue": "string",
        "MaxValue": "string",
        "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
      }
      ...
    ],
    "ContinuousParameterRanges": [
      {
        "Name": "string",
        "MinValue": "string",
        "MaxValue": "string",
        "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
      }
      ...
    ],
    "CategoricalParameterRanges": [
      {
        "Name": "string",
        "Values": ["string", ...]
      }
      ...
    ],
    "AutoParameters": [
      {
        "Name": "string",
        "ValueHint": "string"
      }
      ...
    ]
  },
  "TrainingJobEarlyStoppingType": "Off"|"Auto",
  "TuningJobCompletionCriteria": {
    "TargetObjectiveMetricValue": float,
    "BestObjectiveNotImproving": {
      "MaxNumberOfTrainingJobsNotImproving": integer
    },
    "ConvergenceDetected": {
      "CompleteOnConvergence": "Disabled"|"Enabled"
    }
  },
  "RandomSeed": integer
}

--training-job-definition (структура)

Объект HyperParameterTrainingJobDefinition описывает задания обучения, которые запускает данное задание настройки гиперпараметров, включая статические гиперпараметры, конфигурацию входных данных, конфигурацию выходных данных, конфигурацию ресурсов и условие остановки.

DefinitionName -> (строка)

Имя определения задания.

TuningObjective -> (структура)

Определяет целевой метрический показатель для задания настройки гиперпараметров. Настройка гиперпараметров использует значение этой метрики для оценки запускаемых заданий обучения и возвращает задание обучения, которое приводит к наибольшему или наименьшему значению этой метрики в зависимости от значения параметра Type. Если вы хотите определить пользовательский целевой метрический показатель, см. Определение метрик и переменных среды.

Type -> (строка)

Указывает, нужно ли минимизировать или максимизировать целевой метрический показатель.

MetricName -> (строка)

Имя метрики, используемой для целевого метрического показателя.

HyperParameterRanges -> (структура)

Указывает диапазоны целочисленных, непрерывных и категориальных гиперпараметров, которые ищет задание настройки гиперпараметров. Задание настройки гиперпараметров запускает задания обучения с значениями гиперпараметров в этих диапазонах, чтобы найти комбинацию значений, которая приводит к заданию обучения с наилучшей производительностью, измеряемой целевым метрическим показателем задания настройки гиперпараметров.

Примечание

Максимальное количество элементов, указанных для Array Members, относится к максимальному количеству гиперпараметров для каждого диапазона, а также максимальному количеству для самого задания настройки гиперпараметров. То есть сумма количества гиперпараметров для всех диапазонов не должна превышать максимального указанного значения.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, которые определяют диапазоны целочисленных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа задаёт диапазон, в котором ищет задание настройки гиперпараметров.

Name -> (строка)

Имя гиперпараметра для поиска.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Шкала, которую использует настройка гиперпараметров для поиска диапазона гиперпараметров. Сведения о выборе шкалы гиперпараметров см. в разделе Масштабирование гиперпараметров. Одно из следующих значений:

Auto

Сервис SageMaker настройки гиперпараметров выбирает лучшую шкалу для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейную шкалу.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмическую шкалу.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения, большие 0.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, которые определяют диапазоны непрерывных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

MaxValue -> (строка)

Максимальное значение гиперпараметра. Задание настройки использует значения с плавающей запятой между MinValue значением и этим значением для настройки.

ScalingType -> (строка)

Auto

Сервис SageMaker настройки гиперпараметров выбирает лучшую шкалу для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейную шкалу.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмическую шкалу.

ReverseLogarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя обратную логарифмическую шкалу.

Обратное логарифмическое масштабирование работает только для диапазонов, полностью находящихся в диапазоне 0<=x<1.0.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, которые определяют диапазоны категориальных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примерные значения, используемые Autotune для определения оптимальных диапазонов для вашего задания настройки.

(структура)

Имя и примерное значение гиперпараметра, который вы хотите использовать в Autotune. Если автоматическая настройка модели (AMT) определит, что ваш гиперпараметр подходит для Autotune, для вас выбирается оптимальный диапазон гиперпараметров.

Name -> (строка)

Имя гиперпараметра, который нужно оптимизировать с помощью Autotune.

ValueHint -> (строка)

Примерное значение гиперпараметра, который нужно оптимизировать с помощью Autotune.

StaticHyperParameters -> (карта)

Указывает значения гиперпараметров, которые не изменяются для задания настройки.

key -> (строка)

value -> (строка)

AlgorithmSpecification -> (структура)

Объект HyperParameterAlgorithmSpecification, который определяет алгоритм ресурсов, используемый для заданий обучения, запускаемых заданием настройки.

TrainingImage -> (строка)

Путь в реестре Docker-образа, содержащего алгоритм обучения. Сведения о путях в реестре Docker для встроенных алгоритмов см. в разделе Алгоритмы, предоставляемые Amazon SageMaker: общие параметры. SageMaker поддерживает как registry/repository[:tag], так и registry/repository[@digest] форматы путей к изображениям. Дополнительные сведения см. в разделе Использование собственных алгоритмов с Amazon SageMaker.

TrainingInputMode -> (строка)

Режим входных данных обучения, поддерживаемый алгоритмом. Дополнительные сведения о режимах ввода см. в разделе Алгоритмы.

Режим канала

Если алгоритм поддерживает режим Pipe, Amazon SageMaker передает данные напрямую из Amazon S3 в контейнер.

Режим файла

Если алгоритм поддерживает режим File, SageMaker загружает обучающие данные из S3 в предоставленный том ML-хранилища и монтирует каталог в том Docker для контейнера обучения.

Вы должны предоставить том ML-хранилища с достаточной емкостью для размещения загруженных из S3 данных. Помимо обучающих данных, том ML-хранилища также хранит выходную модель. Контейнер алгоритма использует том ML-хранилища для хранения промежуточной информации, если таковая имеется.

Для распределенных алгоритмов обучающие данные распределяются равномерно. Время обучения прогнозируемо, если размер объектов входных данных примерно одинаковый. SageMaker не разбивает файлы дальше для обучения модели. Если размеры объектов неравномерны, обучение не будет оптимальным, поскольку распределение данных также будет неравномерным, когда один хост в кластере обучения перегружен, что становится узким местом при обучении.

Режим FastFile

Если алгоритм поддерживает режим FastFile, SageMaker передает данные напрямую из S3 в контейнер без внесения изменений в код и предоставляет доступ к файловой системе к данным. Пользователи могут написать сценарий обучения, чтобы взаимодействовать с этими файлами, как если бы они хранились на диске.

Режим FastFile лучше всего работает, когда данные читаются последовательно. Усиленные манифестные файлы не поддерживаются. Время запуска меньше, когда в предоставленном ведре S3 меньше файлов.

AlgorithmName -> (строка)

Имя алгоритма ресурсов, используемого для задания настройки гиперпараметров. Если вы указали значение для этого параметра, не указывайте значение для TrainingImage.

MetricDefinitions -> (список)

Массив объектов MetricDefinition, которые определяют метрики, которые генерирует алгоритм.

(структура)

Определяет метрику, которую алгоритм обучения записывает в stderr или stdout. Вы можете просмотреть эти журналы, чтобы понять, как работает ваше задание обучения, и проверить наличие ошибок, возникающих во время обучения. SageMaker гиперпараметр настройки захватывает все определенные метрики. Укажите одну из определенных метрик, чтобы использовать ее в качестве целевой метрики, используя параметр TuningObjective в API HyperParameterTrainingJobDefinition, чтобы оценить производительность задания во время настройки гиперпараметров.

Name -> (строка)

Имя метрики.

Regex -> (строка)

Регулярное выражение, которое ищет выходные данные задания обучения и получает значение метрики. Дополнительные сведения об использовании регулярных выражений для определения метрик см. в разделе Определение метрик и переменных среды.

RoleArn -> (строка)

Идентификатор Amazon Resource Name (ARN) роли IAM, связанной с заданиями обучения, которые запускает задание настройки.

InputDataConfig -> (список)

Массив объектов Channel, определяющих входные данные для обучающих задач, которые запускает задача настройки.

(структура)

Канал — это именованный источник входных данных, которые могут потреблять алгоритмы обучения.

ChannelName -> (строка)

Имя канала.

DataSource -> (структура)

Расположение данных канала.

S3DataSource -> (структура)

Расположение данных источника S3, связанного с каналом.

S3DataType -> (строка)

Если вы выберете S3Prefix , S3Uri идентифицирует префикс имени ключа. SageMaker использует все объекты, соответствующие указанному префиксу имени ключа, для обучения модели.

Если вы выберете ManifestFile , S3Uri идентифицирует объект, являющийся файлом-манифестом, содержащим список ключей объектов, которые SageMaker должен использовать для обучения модели.

Если вы выберете AugmentedManifestFile , S3Uri идентифицирует объект, являющийся дополненным файлом-манифестом в формате JSON-строк. Этот файл содержит данные, которые вы хотите использовать для обучения модели. AugmentedManifestFile может быть использован только в том случае, если режим ввода канала является Pipe .

S3Uri -> (строка)

В зависимости от значения, указанного для S3DataType , идентифицирует либо префикс имени ключа, либо манифест. Например:

Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/
Манифест может выглядеть так: s3://bucketname/example.manifest Манифест — это объект S3, который представляет собой JSON-файл, состоящий из массива элементов. Первый элемент — это префикс, за которым следует один или несколько суффиксов. SageMaker добавляет суффиксные элементы к префиксу, чтобы получить полный набор S3Uri . Обратите внимание, что префикс должен быть допустимым непустым S3Uri, который предотвращает пользователям указание манифеста, чьи отдельные S3Uri берутся из разных ведер S3. Следующий пример кода показывает допустимый формат манифеста: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Этот JSON эквивалентен следующему списку S3Uri: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uri в этом манифесте представляет собой входные данные для канала для этого источника данных. Объект, к которому указывает каждый S3Uri, должен быть доступен для роли IAM, которую SageMaker использует для выполнения задач от вашего имени.

Ваше ведро ввода должно находиться в той же области Amazon Web Services, что и ваша задача обучения.

S3DataDistributionType -> (строка)

Если вы хотите, чтобы SageMaker реплицировал весь набор данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите FullyReplicated .

Если вы хотите, чтобы SageMaker реплицировал подмножество данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите ShardedByS3Key . Если для задачи обучения запущено n экземпляров вычислительных ресурсов ML, каждый экземпляр получает примерно 1/n от количества объектов S3. В этом случае обучение модели на каждом компьютере использует только подмножество обучающих данных.

Не выбирайте больше экземпляров вычислительных ресурсов ML для обучения, чем доступных объектов S3. В противном случае некоторые узлы не получат данных, и вы будете платить за узлы, которые не получают обучающие данные. Это относится как к режиму File, так и к режиму Pipe. Имейте это в виду при разработке алгоритмов.

В распределенном обучении, где вы используете несколько экземпляров EC2 ML вычислительных ресурсов, вы можете выбрать ShardedByS3Key . Если алгоритм требует копирования обучающих данных на том объём ML (когда TrainingInputMode задано как File ), это копирует 1/n от количества объектов.

AttributeNames -> (список)

Список одного или нескольких имен атрибутов для использования, которые находятся в указанном расширенном файле-манифесте.

(строка)

InstanceGroupNames -> (список)

Список имён групп экземпляров, которые получают данные из источника данных S3.

(строка)

ModelAccessConfig -> (структура)

Файл конфигурации доступа для управления доступом к модели ML. Вы можете явно принять лицензионное соглашение конечного пользователя (EULA) модели в ModelAccessConfig .

Если вы являетесь пользователем Jumpstart, см. раздел Лицензионные соглашения конечного пользователя для получения дополнительной информации о принятии EULA.
Если вы являетесь пользователем AutoML, см. раздел Дополнительные параметры в разделе Создание задачи AutoML для дообучения моделей генерации текста с помощью API для получения информации о способе установки согласия EULA при дообучении модели с помощью API AutoML.

AcceptEula -> (булево)

Указывает согласие на лицензионное соглашение конечного пользователя (EULA) модели. Значение AcceptEula должно быть явно определено как True, чтобы принять EULA, необходимое для этой модели. Вы несете ответственность за ознакомление и соблюдение любых применимых лицензионных условий и обеспечение того, что они приемлемы для вашего случая использования до загрузки или использования модели.

HubAccessConfig -> (структура)

Конфигурация для ссылки на модель частного хаба, указывающей на общедоступную модель хаба SageMaker JumpStart.

HubContentArn -> (строка)

ARN содержимого вашей частной модели хаба. Это должен быть ресурс типа ModelReference, указывающий на общедоступную модель хаба SageMaker JumpStart.

FileSystemDataSource -> (структура)

Файловая система, связанная с каналом.

FileSystemId -> (строка)

Идентификатор файловой системы.

FileSystemAccessMode -> (строка)

Режим доступа к монтированию каталога, связанного с каналом. Каталог может быть смонтирован в режиме ro (только для чтения) или в режиме rw (чтение и запись).

FileSystemType -> (строка)

Тип файловой системы.

DirectoryPath -> (строка)

Полный путь к каталогу для связи с каналом.

ContentType -> (строка)

Тип MIME данных.

CompressionType -> (строка)

Если обучающие данные сжаты, тип сжатия. Значение по умолчанию — None . CompressionType используется только в режиме ввода Pipe. В режиме File оставьте это поле незаполненным или задайте значение None.

RecordWrapperType -> (строка)

Укажите RecordIO, когда входные данные в сыром формате, но обучающий алгоритм требует формат RecordIO. В этом случае SageMaker обертывает каждый отдельный объект S3 в запись RecordIO. Если входные данные уже в формате RecordIO, вам не нужно устанавливать этот атрибут. Дополнительную информацию см. в разделе Создание набора данных с помощью RecordIO.

В режиме File оставьте это поле незаполненным или задайте значение None.

InputMode -> (строка)

(Необязательно) Режим ввода для канала данных в задаче обучения. Если вы не зададите значение для InputMode , SageMaker использует значение, заданное для TrainingInputMode . Используйте этот параметр для переопределения параметра TrainingInputMode в запросе AlgorithmSpecification, когда у вас есть канал, который требует другой режим ввода, чем общий режим работы задачи обучения. Чтобы загрузить данные из Amazon Simple Storage Service (Amazon S3) на предоставленный том ML и смонтировать каталог в том Docker, используйте режим ввода File . Чтобы передавать данные напрямую из Amazon S3 в контейнер, выберите режим ввода Pipe.

Для использования модели для инкрементного обучения выберите режим ввода File.

ShuffleConfig -> (структура)

Конфигурация для опции перемешивания входных данных в канале. Если вы используете S3Prefix для S3DataType , это перемешивает результаты совпадений префиксов ключей S3. Если вы используете ManifestFile, порядок ссылок на объекты S3 в ManifestFile перемешивается. Если вы используете AugmentedManifestFile, порядок JSON-строк в AugmentedManifestFile перемешивается. Порядок перемешивания определяется значением Seed.

Для режима ввода Pipe перемешивание выполняется в начале каждой эпохи. С большими наборами данных это гарантирует, что порядок обучающих данных отличается для каждой эпохи, что помогает уменьшить смещение и возможное переобучение. В задаче обучения с несколькими узлами, когда ShuffleConfig используется совместно с S3DataDistributionType в ShardedByS3Key , данные перемешиваются между узлами, так что содержимое, отправленное на конкретный узел в первой эпохе, может быть отправлено на другой узел во второй эпохе.

Seed -> (длинное целое)

Определяет порядок перемешивания в ShuffleConfig значении.

VpcConfig -> (структура)

Объект VpcConfig, определяющий VPC, к которому вы хотите подключить задачи обучения, которые запускает эта задача настройки гиперпараметров. Управляйте доступом к тренировочному контейнеру и из него, настраивая VPC. Дополнительную информацию см. в разделе Защита задач обучения с помощью виртуальной частной сети Amazon.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, который указан в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить задачу обучения или модель. Сведения о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

OutputDataConfig -> (структура)

Указывает путь к ведру Amazon S3, где хранятся артефакты моделей из обучающих заданий, запускаемых заданием настройки.

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования артефактов моделей в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может быть в любом из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Amazon Resource Name (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Amazon Resource Name (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним вашего ключа KMS, роль выполнения SageMaker должна включать разрешения на вызов kms:Encrypt. Если вы не предоставите идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. Дополнительная информация приведена в разделе KMS-управляемые ключи шифрования в руководстве разработчика Amazon Simple Storage Service. Если выходные данные хранятся в Amazon S3 Express One Zone, они шифруются с помощью шифрования на стороне сервера с управляемыми ключами Amazon S3 (SSE-S3). Ключ KMS не поддерживается для Amazon S3 Express One Zone.

Политика ключа KMS должна предоставлять разрешение учетной записи IAM, указанной в запросах CreateTrainingJob, CreateTransformJob или CreateHyperParameterTuningJob. Дополнительная информация приведена в разделе Использование политик ключей в Amazon Web Services KMS в руководстве разработчика Amazon Web Services Key Management Service.

S3OutputPath -> (строка)

Определяет путь S3, куда SageMaker должен сохранить артефакты модели. Например, s3://bucket-name/key-name-prefix.

CompressionType -> (строка)

Тип сжатия выходных данных модели. Выберите None для вывода несжатой модели, рекомендуется для больших выходных данных модели. По умолчанию используется gzip.

ResourceConfig -> (структура)

Ресурсы, включая вычислительные экземпляры и тома хранения, которые нужно использовать для обучающих заданий, запускаемых заданием настройки.

Тома хранения хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения могут также использовать тома хранения для временного хранилища. Если вы хотите, чтобы SageMaker использовал том хранения для хранения обучающих данных, выберите File в качестве TrainingInputMode в спецификации алгоритма. Для распределенных алгоритмов обучения укажите количество экземпляров больше 1.

Примечание

Если вы хотите использовать оптимизацию гиперпараметров с гибкостью типа экземпляра, используйте HyperParameterTuningResourceConfig.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

Примечание

Обучение SageMaker на экземплярах Amazon Elastic Compute Cloud (EC2) P4de находится на стадии предварительного выпуска, начиная с 9 декабря 2022 года.

Экземпляры Amazon EC2 P4de (на данный момент в предварительном выпуске) оснащены 8 графическими процессорами NVIDIA A100 с 80 ГБ высокопроизводительной оперативной памятью HBM2e GPU, что ускоряет скорость обучения моделей ML, которые необходимо обучать на больших наборах данных с высоким разрешением. В этом предварительном выпуске Amazon SageMaker поддерживает задачи обучения ML на экземплярах P4de (ml.p4de.24xlarge) для сокращения времени обучения модели. Экземпляры ml.p4de.24xlarge доступны в следующих регионах Amazon Web Services.

US East (N. Virginia) (us-east-1)
US West (Oregon) (us-west-2)

Для увеличения лимита квот и начала использования экземпляров P4de свяжитесь со службой SageMaker Training через вашу команду аккаунта.

InstanceCount -> (целое число)

Количество вычислительных экземпляров ML, которые нужно использовать. Для распределенного обучения укажите значение больше 1.

VolumeSizeInGB -> (целое число)

Размер тома хранения ML, который нужно зарезервировать.

Тома хранения ML хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения могут также использовать том хранения ML для временного хранилища. Если вы хотите хранить обучающие данные в томе хранения ML, выберите File в качестве TrainingInputMode в спецификации алгоритма.

При использовании экземпляра ML с томами NVMe SSD SageMaker не резервирует хранилище Amazon EBS General Purpose SSD (gp2). Доступное хранилище фиксировано к объёму хранилища экземпляра NVMe-типа. SageMaker настраивает пути хранилища для наборов данных обучения, контрольных точек, артефактов модели и выходных данных, чтобы использовать весь объём хранилища экземпляра. Например, семейства экземпляров ML с хранилищем NVMe-типа включают ml.p4d, ml.g4dn и ml.g5.

При использовании экземпляра ML с только EBS хранилищем и без хранилища экземпляра вы должны определить размер тома EBS через VolumeSizeInGB в API ResourceConfig. Например, семейства экземпляров ML, которые используют тома EBS, включают ml.c5 и ml.p2.

Чтобы найти типы экземпляров и их типы хранилища экземпляра и объёмы, см. типы экземпляров Amazon EC2. Чтобы найти значения путей по умолчанию, определённые платформой обучения SageMaker, см. Папки хранения Amazon SageMaker Training для наборов данных обучения, контрольных точек, артефактов модели и выходных данных.

VolumeKmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services KMS, который SageMaker использует для шифрования данных на томе хранения, подключенном к вычислительному экземпляру(ам) ML, на котором выполняется задача обучения.

Примечание

Некоторые экземпляры на основе Nitro включают локальное хранилище, в зависимости от типа экземпляра. Локальные тома хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляра, см. в разделе Тома локального хранилища.

Дополнительную информацию о шифровании локального хранилища экземпляра см. в разделе Тома локального хранилища SSD.

VolumeKmsKeyId может быть в любом из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Amazon Resource Name (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

KeepAlivePeriodInSeconds -> (целое число)

Срок хранения ресурсов в тёплом пуле в секундах для последующих задач обучения.

InstanceGroups -> (список)

Настройка гетерогенного кластера в формате JSON.

(структура)

Определяет группу экземпляров для обучения гетерогенного кластера. При запросе задачи обучения с помощью API CreateTrainingJob вы можете настроить несколько групп экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

InstanceCount -> (целое число)

Указывает количество экземпляров группы экземпляров.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

TrainingPlanArn -> (строка)

Amazon Resource Name (ARN); используемого плана обучения для этой конфигурации ресурсов.

HyperParameterTuningResourceConfig -> (структура)

Настройка ресурсов для настройки гиперпараметров, включая вычислительные экземпляры и тома хранения, используемые для обучающих задач, запускаемых задачей настройки. По умолчанию тома хранения содержат артефакты модели и промежуточные состояния. Выберите File для TrainingInputMode в параметре AlgorithmSpecification, чтобы дополнительно сохранить обучающие данные в томе хранения (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для запуска задач настройки гиперпараметров. Для получения дополнительной информации см. описания типов экземпляров.

InstanceCount -> (целое число)

Количество вычислительных экземпляров типа InstanceType для использования. Для распределенного обучения выберите значение, большее 1.

VolumeSizeInGB -> (целое число)

Размер тома хранения в ГБ, используемого в обработке задач оптимизации гиперпараметров (необязательно). Эти тома хранят артефакты модели, промежуточные состояния и, необязательно, рабочее пространство для алгоритмов обучения. Не указывайте значение для этого параметра, если также указано значение для InstanceConfigs.

Некоторые типы экземпляров имеют фиксированный общий размер локального хранилища. Если вы выбираете один из этих экземпляров для обучения, VolumeSizeInGB не может быть больше этого общего размера. Список типов экземпляров с локальным хранилищем экземпляров и их размерами см. в разделах о томах локального хранилища.

Примечание

SageMaker поддерживает только тип тома хранения General Purpose SSD (gp2).

VolumeKmsKeyId -> (строка)

Ключ, используемый службой управления ключами Amazon Web Services для шифрования данных в томе хранения, подключенном к вычислительным экземплярам, используемым для запуска обучающей задачи. Для указания ключа можно использовать любой из следующих форматов.

Идентификатор ключа KMS:

"1234abcd-12ab-34cd-56ef-1234567890ab"

Идентификатор ресурса Amazon (ARN) ключа KMS:

"arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

Некоторые экземпляры используют локальное хранилище, которое использует аппаратный модуль для шифрования томов хранилища. Если вы выберете один из этих типов экземпляров, вы не можете запросить VolumeKmsKeyId. Список типов экземпляров, использующих локальное хранилище, см. в разделах о томах локального хранилища. Дополнительную информацию о службе управления ключами Amazon Web Services см. в KMS encryption.

AllocationStrategy -> (строка)

Стратегия, определяющая порядок приоритета для ресурсов, указанных в InstanceConfigs, используемых в оптимизации гиперпараметров.

InstanceConfigs -> (список)

Список, содержащий конфигурацию(и) для одного или нескольких ресурсов для обработки задач настройки гиперпараметров. Эти ресурсы включают вычислительные экземпляры и тома хранения, которые будут использоваться в задачах обучения моделей, запускаемых задачами настройки гиперпараметров. AllocationStrategy управляет порядком использования нескольких конфигураций, предоставленных в InstanceConfigs.

Примечание

Если вы хотите использовать только одну конфигурацию экземпляра внутри API HyperParameterTuningResourceConfig, не указывайте значение для InstanceConfigs. Вместо этого используйте InstanceType, VolumeSizeInGB и InstanceCount. Если вы используете InstanceConfigs, не указывайте значения для InstanceType, VolumeSizeInGB или InstanceCount.

(структура)

Настройка ресурсов для настройки гиперпараметров, используемых в обучающих задачах, запускаемых задачей настройки. Эти ресурсы включают вычислительные экземпляры и тома хранения. Укажите одну или несколько конфигураций вычислительных экземпляров и стратегий распределения для выбора ресурсов (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для обработки задач оптимизации гиперпараметров. Выберите типы экземпляров общего назначения (без графических процессоров): ml.m5.xlarge, ml.m5.2xlarge и ml.m5.4xlarge или типы экземпляров с оптимизированной вычислительной производительностью (без графических процессоров): ml.c5.xlarge и ml.c5.2xlarge. Дополнительную информацию о типах экземпляров см. в описаниях типов экземпляров.

InstanceCount -> (целое число)

Количество экземпляров типа, указанного в InstanceType. Выберите количество экземпляров, большее 1, для распределенных алгоритмов обучения. Дополнительную информацию см. в шаге 2: запуск задачи распределенного обучения SageMaker с помощью SDK SageMaker Python.

VolumeSizeInGB -> (целое число)

Размер тома данных в ГБ, подлежащих обработке для оптимизации гиперпараметров (необязательно).

StoppingCondition -> (структура)

Определяет ограничение времени работы задачи обучения модели гиперпараметров. Также определяет время завершения управляемой задачи обучения в режиме "пятничного резервирования". Когда задача достигает лимита времени, SageMaker завершает задачу обучения. Используйте этот API для ограничения затрат на обучение моделей.

MaxRuntimeInSeconds -> (целое число)

Максимальная длительность работы задачи обучения или компиляции в секундах, прежде чем она будет остановлена.

Для задач компиляции, если задача не завершится в течение этого времени, генерируется ошибка TimeOut. Рекомендуется начинать с 900 секунд и увеличивать по мере необходимости, исходя из вашей модели.

Для всех остальных задач, если задача не завершится в течение этого времени, SageMaker завершает задачу. Если RetryStrategy указан в запросе на задачу, MaxRuntimeInSeconds определяет максимальное время для всех попыток в целом, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение составляет 28 дней.

Максимальное время работы TrainingJob в целом, включая время, затраченное на публикацию метрик или архивацию и загрузку моделей после ее остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время ожидания, в секундах, для завершения управляемой задачи обучения в режиме "пятничного резервирования". Это количество времени, затраченное на ожидание емкости "пятничных резервирований", плюс время работы задачи. Оно должно быть равно или больше, чем MaxRuntimeInSeconds. Если задача не завершится в течение этого времени, SageMaker завершит задачу.

Если RetryStrategy указан в запросе на задачу, MaxWaitTimeInSeconds определяет максимальное время для всех попыток в целом, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальное время ожидания, в секундах, для задачи обучения или компиляции, прежде чем она будет остановлена.

Примечание

При работе с обучающими задачами, использующими емкость из планов обучения, не все состояния задач Pending учитываются в лимите MaxPendingTimeInSeconds. Следующие сценарии не увеличивают счетчик MaxPendingTimeInSeconds:

План находится в состоянии Scheduled: Задачи, поставленные в очередь (состоянии Pending) до даты начала плана (ожидание запланированного времени начала)
Между резервациями емкости: Задачи временно возвращаются к состоянию Pending между двумя периодами резервирования емкости

MaxPendingTimeInSeconds увеличивается только тогда, когда задачи активно ожидают емкости в плане Active.

EnableNetworkIsolation -> (логическое значение)

Изолирует контейнер обучения. Нельзя выполнять входящие или исходящие сетевые вызовы, кроме вызовов между узлами в кластере обучения для распределенного обучения. Если изоляция сети используется для обучающих задач, настроенных на использование VPC, SageMaker загружает и загружает данные клиентов и артефакты модели через указанный VPC, но контейнер обучения не имеет сетевого доступа.

EnableInterContainerTrafficEncryption -> (логическое значение)

Для шифрования всего трафика между вычислительными экземплярами ML в распределенном обучении выберите True. Шифрование обеспечивает большую безопасность для распределенного обучения, но обучение может занять больше времени. Время зависит от объема обмена данными между вычислительными экземплярами, особенно если вы используете алгоритм глубокого обучения в распределенном обучении.

EnableManagedSpotTraining -> (логическое значение)

Логическое значение, указывающее, включено ли управляемое обучение с использованием "пятничных резервирований" (True) или нет (False).

CheckpointConfig -> (структура)

Содержит информацию об расположении выходных данных для данных о контрольных точках управляемого обучения в режиме "пятничного резервирования".

S3Uri -> (строка)

Указывает S3 путь, куда SageMaker должен сохранить контрольные точки. Например, s3://bucket-name/key-name-prefix.

LocalPath -> (строка)

(Необязательно) Локальный каталог, куда записываются контрольные точки. По умолчанию это каталог /opt/ml/checkpoints/.

RetryStrategy -> (структура)

Количество попыток повторного выполнения задачи, когда задача завершается сбоем из-за InternalServerError.

MaximumRetryAttempts -> (целое число)

Количество попыток повторного выполнения задачи. При повторном выполнении задачи SecondaryStatus меняется на STARTING.

Environment -> (отображение)

Переменная среды, которую вы можете передать в API SageMaker CreateTrainingJob. Вы можете использовать существующую переменную среды из контейнера обучения или использовать свою собственную. Дополнительную информацию см. в разделе Определение метрик и переменных.

Примечание

Максимальное количество элементов, указанных для Map Entries, относится к максимальному количеству переменных среды для каждой TrainingJobDefinition, а также максимальному количеству для самой задачи настройки гиперпараметров. То есть сумма количества переменных среды для всех определений обучающей задачи не должна превышать максимальное указанное количество.

key -> (строка)

value -> (строка)

Синтаксис JSON:

{
  "DefinitionName": "string",
  "TuningObjective": {
    "Type": "Maximize"|"Minimize",
    "MetricName": "string"
  },
  "HyperParameterRanges": {
    "IntegerParameterRanges": [
      {
        "Name": "string",
        "MinValue": "string",
        "MaxValue": "string",
        "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
      }
      ...
    ],
    "ContinuousParameterRanges": [
      {
        "Name": "string",
        "MinValue": "string",
        "MaxValue": "string",
        "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
      }
      ...
    ],
    "CategoricalParameterRanges": [
      {
        "Name": "string",
        "Values": ["string", ...]
      }
      ...
    ],
    "AutoParameters": [
      {
        "Name": "string",
        "ValueHint": "string"
      }
      ...
    ]
  },
  "StaticHyperParameters": {"string": "string"
    ...},
  "AlgorithmSpecification": {
    "TrainingImage": "string",
    "TrainingInputMode": "Pipe"|"File"|"FastFile",
    "AlgorithmName": "string",
    "MetricDefinitions": [
      {
        "Name": "string",
        "Regex": "string"
      }
      ...
    ]
  },
  "RoleArn": "string",
  "InputDataConfig": [
    {
      "ChannelName": "string",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "ManifestFile"|"S3Prefix"|"AugmentedManifestFile",
          "S3Uri": "string",
          "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
          "AttributeNames": ["string", ...],
          "InstanceGroupNames": ["string", ...],
          "ModelAccessConfig": {
            "AcceptEula": true|false
          },
          "HubAccessConfig": {
            "HubContentArn": "string"
          }
        },
        "FileSystemDataSource": {
          "FileSystemId": "string",
          "FileSystemAccessMode": "rw"|"ro",
          "FileSystemType": "EFS"|"FSxLustre",
          "DirectoryPath": "string"
        }
      },
      "ContentType": "string",
      "CompressionType": "None"|"Gzip",
      "RecordWrapperType": "None"|"RecordIO",
      "InputMode": "Pipe"|"File"|"FastFile",
      "ShuffleConfig": {
        "Seed": long
      }
    }
    ...
  ],
  "VpcConfig": {
    "SecurityGroupIds": ["string", ...],
    "Subnets": ["string", ...]
  },
  "OutputDataConfig": {
    "KmsKeyId": "string",
    "S3OutputPath": "string",
    "CompressionType": "GZIP"|"NONE"
  },
  "ResourceConfig": {
    "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
    "InstanceCount": integer,
    "VolumeSizeInGB": integer,
    "VolumeKmsKeyId": "string",
    "KeepAlivePeriodInSeconds": integer,
    "InstanceGroups": [
      {
        "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
        "InstanceCount": integer,
        "InstanceGroupName": "string"
      }
      ...
    ],
    "TrainingPlanArn": "string"
  },
  "HyperParameterTuningResourceConfig": {
    "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
    "InstanceCount": integer,
    "VolumeSizeInGB": integer,
    "VolumeKmsKeyId": "string",
    "AllocationStrategy": "Prioritized",
    "InstanceConfigs": [
      {
        "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
        "InstanceCount": integer,
        "VolumeSizeInGB": integer
      }
      ...
    ]
  },
  "StoppingCondition": {
    "MaxRuntimeInSeconds": integer,
    "MaxWaitTimeInSeconds": integer,
    "MaxPendingTimeInSeconds": integer
  },
  "EnableNetworkIsolation": true|false,
  "EnableInterContainerTrafficEncryption": true|false,
  "EnableManagedSpotTraining": true|false,
  "CheckpointConfig": {
    "S3Uri": "string",
    "LocalPath": "string"
  },
  "RetryStrategy": {
    "MaximumRetryAttempts": integer
  },
  "Environment": {"string": "string"
    ...}
}

--training-job-definitions (список)

Список объектов HyperParameterTrainingJobDefinition, запущенных для этой задачи подбора гиперпараметров.

(структура)

Определяет задачи обучения, запущенные задачей подбора гиперпараметров.

DefinitionName -> (строка)

Имя определения задачи.

TuningObjective -> (структура)

Определяет целевой метрический показатель для задачи подбора гиперпараметров. Подбор гиперпараметров использует значение этого метрического показателя для оценки задач обучения, которые он запускает, и возвращает задачу обучения, которая приводит к либо наибольшему, либо наименьшему значению этого метрического показателя, в зависимости от значения, указанного для параметра Type. Если вы хотите определить пользовательский целевой метрический показатель, см. Определение метрик и переменных среды.

Type -> (строка)

Минимизировать или максимизировать целевой метрический показатель.

MetricName -> (строка)

Имя метрического показателя, используемого для целевого метрического показателя.

HyperParameterRanges -> (структура)

Указывает диапазоны целочисленных, непрерывных и категориальных гиперпараметров, которые ищет задача подбора гиперпараметров. Задача подбора гиперпараметров запускает задачи обучения с значениями гиперпараметров в этих диапазонах, чтобы найти комбинацию значений, которая приводит к задаче обучения с лучшей производительностью, измеряемой целевым метрическим показателем задачи подбора гиперпараметров.

Примечание

Максимальное количество элементов, указанных для Array Members, относится к максимальному количеству гиперпараметров для каждого диапазона, а также к максимальному количеству для самой задачи подбора гиперпараметров. То есть сумма количества гиперпараметров для всех диапазонов не должна превышать максимальное указанное количество.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, которые определяют диапазоны целочисленных гиперпараметров, которые ищет задача подбора гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа указывает диапазон, который ищет задача подбора гиперпараметров.

Name -> (строка)

Имя гиперпараметра, который нужно искать.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Масштаб, который использует подбор гиперпараметров для поиска диапазона гиперпараметров. Сведения о выборе шкалы гиперпараметров см. в разделе Масштабирование гиперпараметров. Одно из следующих значений:

Auto

Сервис подбора гиперпараметров Amazon SageMaker выбирает лучшую шкалу для гиперпараметра.

Linear

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейную шкалу.

Logarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмическую шкалу.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения, большие 0.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, которые определяют диапазоны непрерывных гиперпараметров, которые ищет задача подбора гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

Минимальное значение гиперпараметра. Задача подбора использует значения с плавающей точкой между этим значением и MaxValue для настройки.

MaxValue -> (строка)

Максимальное значение гиперпараметра. Задача подбора использует значения с плавающей точкой между значением MinValue и этим значением для настройки.

ScalingType -> (строка)

Auto

Сервис подбора гиперпараметров Amazon SageMaker выбирает лучшую шкалу для гиперпараметра.

Linear

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейную шкалу.

Logarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмическую шкалу.

ReverseLogarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя обратную логарифмическую шкалу.

Обратное логарифмическое масштабирование работает только для диапазонов, полностью попадающих в диапазон 0<=x<1.0.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, которые определяют диапазоны категориальных гиперпараметров, которые ищет задача подбора гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примеры значений, которые Autotune использует для определения оптимальных диапазонов для вашей задачи подбора.

(структура)

Имя и пример значения гиперпараметра, которые вы хотите использовать в Autotune. Если автоматическое обучение моделей (AMT) определяет, что ваш гиперпараметр подходит для Autotune, оптимальный диапазон гиперпараметров выбирается для вас.

Name -> (строка)

Имя гиперпараметра, который нужно оптимизировать с помощью Autotune.

ValueHint -> (строка)

Пример значения гиперпараметра, который нужно оптимизировать с помощью Autotune.

StaticHyperParameters -> (карта)

Указывает значения гиперпараметров, которые не изменяются для задачи подбора.

key -> (строка)

value -> (строка)

AlgorithmSpecification -> (структура)

Объект HyperParameterAlgorithmSpecification, который указывает алгоритм ресурсов, используемый для задач обучения, которые запускает задача подбора.

TrainingImage -> (строка)

Путь реестра Docker-образа, содержащего алгоритм обучения. Сведения о путях реестра Docker для встроенных алгоритмов см. в разделе Алгоритмы, предоставляемые Amazon SageMaker: общие параметры. SageMaker поддерживает как registry/repository[:tag], так и registry/repository[@digest] форматы путей изображений. Дополнительные сведения см. в разделе Использование собственных алгоритмов с Amazon SageMaker.

TrainingInputMode -> (строка)

Режим ввода для обучения, поддерживаемый алгоритмом. Дополнительные сведения о режимах ввода см. в разделе Алгоритмы.

Режим канала

Если алгоритм поддерживает режим Pipe, Amazon SageMaker передает данные напрямую из Amazon S3 в контейнер.

Режим файла

Если алгоритм поддерживает режим File, SageMaker загружает данные обучения из S3 в выделенный том памяти для машинного обучения и монтирует каталог в том Docker для контейнера обучения.

Вы должны выделить том памяти для машинного обучения с достаточной емкостью для размещения загружаемых из S3 данных. Помимо данных обучения, том памяти для машинного обучения также хранит выходную модель. Контейнер алгоритма использует том памяти для машинного обучения для хранения промежуточной информации, если таковая имеется.

Для распределенных алгоритмов данные обучения распределяются равномерно. Время обучения предсказуемо, если размеры объектов входных данных примерно одинаковы. SageMaker не разбивает файлы дополнительно для обучения модели. Если размеры объектов неравномерны, обучение не будет оптимальным, так как распределение данных также неравномерно, когда один хост в кластере обучения перегружен, становясь узким местом при обучении.

Режим FastFile

Если алгоритм поддерживает режим FastFile, SageMaker передает данные напрямую из S3 в контейнер без внесения изменений в код и предоставляет доступ к файловой системе к данным. Пользователи могут написать скрипт обучения для взаимодействия с этими файлами так, как будто они хранятся на диске.

Режим FastFile лучше всего работает, когда данные читаются последовательно. Улучшенные файлы манифеста не поддерживаются. Время запуска ниже, когда в предоставленном ведре S3 содержится меньше файлов.

AlgorithmName -> (строка)

Имя алгоритма ресурсов, используемого для задачи подбора гиперпараметров. Если вы укажете значение для этого параметра, не указывайте значение для TrainingImage.

MetricDefinitions -> (список)

Массив объектов MetricDefinition, которые указывают метрики, которые выдает алгоритм.

(структура)

Указывает метрику, которую алгоритм обучения записывает в stderr или stdout. Вы можете просмотреть эти журналы, чтобы понять, как работает ваша задача обучения, и проверить наличие каких-либо ошибок, возникших во время обучения. SageMaker подбор гиперпараметров захватывает все определенные метрики. Укажите одну из определенных метрик, чтобы использовать ее в качестве целевой метрики, используя параметр TuningObjective в API HyperParameterTrainingJobDefinition для оценки производительности задач во время подбора гиперпараметров.

Name -> (строка)

Имя метрики.

Regex -> (строка)

Регулярное выражение, которое ищет выходные данные задачи обучения и получает значение метрики. Дополнительные сведения об использовании регулярных выражений для определения метрик см. в разделе Определение метрик и переменных среды.

RoleArn -> (строка)

Amazon Resource Name (ARN) роли IAM, связанной с задачами обучения, которые запускает задача подбора.

InputDataConfig -> (список)

Массив объектов Channel, определяющих входные данные для обучающих задач, которые запускает задача настройки.

(структура)

Канал — это именованный источник входных данных, которые могут использовать алгоритмы обучения.

ChannelName -> (строка)

Имя канала.

DataSource -> (структура)

Расположение данных канала.

S3DataSource -> (структура)

Расположение данных источника в S3, связанного с каналом.

S3DataType -> (строка)

Если вы выберете S3Prefix, S3Uri определяет префикс имени ключа. SageMaker использует все объекты, которые соответствуют заданному префиксу имени ключа, для обучения модели.

Если вы выберете ManifestFile, S3Uri определяет объект, являющийся файлом-манифестом, содержащим список ключей объектов, которые вы хотите использовать для обучения модели SageMaker.

Если вы выберете AugmentedManifestFile, S3Uri определяет объект, являющийся расширенным файлом-манифестом в формате JSON-строк. Этот файл содержит данные, которые вы хотите использовать для обучения модели. AugmentedManifestFile может быть использован только в том случае, если режим входных данных канала — Pipe.

S3Uri -> (строка)

В зависимости от значения, указанного для S3DataType, определяет либо префикс имени ключа, либо манифест. Например:

Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/
Манифест может выглядеть так: s3://bucketname/example.manifest. Манифест — это объект S3, представляющий собой JSON-файл, состоящий из массива элементов. Первый элемент — это префикс, за которым следуют один или несколько суффиксов. SageMaker добавляет суффиксные элементы к префиксу, чтобы получить полный набор S3Uri. Обратите внимание, что префикс должен быть допустимым непустым S3Uri, что не позволяет пользователям указывать манифест, чьи отдельные S3Uri берутся из разных ведер S3. Следующий пример кода демонстрирует допустимый формат манифеста: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Этот JSON эквивалентен следующему списку S3Uri: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uri в этом манифесте — это входные данные для канала для данного источника данных. Объект, на который указывает каждый S3Uri, должен быть доступен для роли IAM, которую SageMaker использует для выполнения задач от вашего имени.

Ваше ведро входных данных должно находиться в том же регионе Amazon Web Services, что и ваша обучающая задача.

S3DataDistributionType -> (строка)

Если вы хотите, чтобы SageMaker дублировал весь набор данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите FullyReplicated.

Если вы хотите, чтобы SageMaker дублировал подмножество данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите ShardedByS3Key. Если для обучающей задачи запущено n экземпляров вычислительных ресурсов ML, каждый экземпляр получает примерно 1/n часть от общего числа объектов S3. В этом случае обучение модели на каждом компьютере использует только подмножество обучающих данных.

Не выбирайте больше экземпляров вычислительных ресурсов ML для обучения, чем доступных объектов S3. В противном случае некоторые узлы не получат данные, и вы будете платить за узлы, которые не получают обучающие данные. Это относится как к режиму File, так и к режиму Pipe. Имейте это в виду при разработке алгоритмов.

При распределённом обучении, где вы используете несколько экземпляров EC2 вычислительных ресурсов ML, вы можете выбрать ShardedByS3Key. Если алгоритм требует копирования обучающих данных в том объеме ML (когда TrainingInputMode установлено в File), это копирует 1/n часть от общего числа объектов.

AttributeNames -> (список)

Список одного или нескольких имён атрибутов для использования, которые найдены в указанном расширенном файле манифеста.

(строка)

InstanceGroupNames -> (список)

Список имён групп экземпляров, которые получают данные из источника данных S3.

(строка)

ModelAccessConfig -> (структура)

Если вы являетесь пользователем Jumpstart, см. раздел Лицензионные соглашения конечного пользователя для получения дополнительной информации о принятии EULA.
Если вы являетесь пользователем AutoML, см. раздел Дополнительные параметры раздела Создание задачи AutoML для доработки моделей генерации текста с помощью API для получения подробностей о том, как установить подтверждение EULA при доработке модели с помощью API AutoML.

AcceptEula -> (логическое)

Указывает согласие на лицензионное соглашение конечного пользователя (EULA) модели. Значение AcceptEula должно быть явно определено как True, чтобы принять EULA, требуемое этой моделью. Вы несете ответственность за ознакомление с применимыми лицензионными условиями и убедитесь, что они приемлемы для вашего случая использования до загрузки или использования модели.

HubAccessConfig -> (структура)

Конфигурация для ссылки на модель частного хаба, которая указывает на модель публичного хаба SageMaker JumpStart.

HubContentArn -> (строка)

ARN вашего содержимого частной модели хаба. Это должен быть ресурс типа ModelReference, указывающий на модель публичного хаба SageMaker JumpStart.

FileSystemDataSource -> (структура)

Файловая система, связанная с каналом.

FileSystemId -> (строка)

Идентификатор файловой системы.

FileSystemAccessMode -> (строка)

Режим доступа к монтированному каталогу, связанному с каналом. Каталог может быть смонтирован в режиме ro (только чтение) или rw (чтение/запись).

FileSystemType -> (строка)

Тип файловой системы.

DirectoryPath -> (строка)

Полный путь к каталогу для связи с каналом.

ContentType -> (строка)

Тип MIME данных.

CompressionType -> (строка)

Если обучающие данные сжаты, тип сжатия. Значение по умолчанию — None. CompressionType используется только в режиме входных данных Pipe. В режиме File оставьте это поле пустым или задайте его в значение None.

RecordWrapperType -> (строка)

Укажите RecordIO, когда входные данные находятся в сыром формате, но алгоритм обучения требует формат RecordIO. В этом случае SageMaker обертывает каждый отдельный объект S3 в запись RecordIO. Если входные данные уже в формате RecordIO, вам не нужно устанавливать этот атрибут. Дополнительную информацию см. в разделе Create a Dataset Using RecordIO.

В режиме File оставьте это поле пустым или задайте его в значение None.

InputMode -> (строка)

(Необязательно) Режим входных данных для канала данных в задаче обучения. Если вы не зададите значение для InputMode, SageMaker использует значение, установленное для TrainingInputMode. Используйте этот параметр для переопределения параметра TrainingInputMode в запросе AlgorithmSpecification, когда у вас есть канал, который требует другого режима входных данных, отличного от общего параметра обучающей задачи. Для загрузки данных из Amazon Simple Storage Service (Amazon S3) в предоставленный объём хранения ML и монтирования каталога в объём Docker используйте режим входных данных File. Для потоковой передачи данных непосредственно из Amazon S3 в контейнер выберите режим входных данных Pipe.

Для использования модели для инкрементного обучения выберите режим входных данных File.

ShuffleConfig -> (структура)

Конфигурация для опции перемешивания входных данных канала. Если вы используете S3Prefix для S3DataType, это перемешивает результаты совпадений префикса ключа S3. Если вы используете ManifestFile, порядок ссылок на объекты S3 в ManifestFile перемешивается. Если вы используете AugmentedManifestFile, порядок JSON-строк в AugmentedManifestFile перемешивается. Порядок перемешивания определяется значением Seed.

Для режима входных данных Pipe перемешивание выполняется в начале каждой эпохи. С большими наборами данных это гарантирует, что порядок обучающих данных будет отличаться для каждой эпохи, что помогает снизить смещение и возможное переобучение. В многоузловой обучающей задаче, когда ShuffleConfig используется совместно с S3DataDistributionType ShardedByS3Key, данные перемешиваются между узлами, так что содержимое, отправленное на конкретный узел в первой эпохе, может быть отправлено на другой узел во второй эпохе.

Seed -> (целое)

Определяет порядок перемешивания в значении ShuffleConfig.

VpcConfig -> (структура)

Объект VpcConfig, определяющий VPC, к которому вы хотите подключить обучающие задачи, которые запускает эта задача настройки гиперпараметров. Управляйте доступом входящим и исходящим из вашего контейнера обучения, настроив VPC. Дополнительную информацию см. в разделе Protect Training Jobs by Using an Amazon Virtual Private Cloud.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою обучающую задачу или модель. Информацию о доступности определенных типов экземпляров см. в разделе Supported Instance Types and Availability Zones.

(строка)

OutputDataConfig -> (структура)

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования артефактов модели в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может иметь любой из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса Amazon (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса Amazon (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения для вызова kms:Encrypt. Если вы не предоставите идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. Дополнительные сведения см. в разделе Ключи шифрования, управляемые службой KMS, в Руководстве разработчика Amazon Simple Storage Service. Если выходные данные хранятся в Amazon S3 Express One Zone, они шифруются с помощью шифрования на стороне сервера с ключами, управляемыми Amazon S3 (SSE-S3). Ключ KMS не поддерживается для Amazon S3 Express One Zone

Политика ключа KMS должна предоставлять разрешения IAM-роли, которую вы указываете в своих запросах CreateTrainingJob, CreateTransformJob или CreateHyperParameterTuningJob. Дополнительные сведения см. в разделе Использование политик ключей в Amazon Web Services KMS в Руководстве разработчика Amazon Web Services Key Management Service.

S3OutputPath -> (строка)

Указывает путь S3, где вы хотите, чтобы SageMaker хранил артефакты модели. Например, s3://bucket-name/key-name-prefix.

CompressionType -> (строка)

ResourceConfig -> (структура)

Ресурсы, включая вычислительные экземпляры и тома хранения, которые необходимо использовать для обучающих заданий, запускаемых заданием настройки.

Тома хранения содержат артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать тома хранения для временного пространства. Если вы хотите, чтобы SageMaker использовал том хранения для хранения обучающих данных, выберите File в качестве TrainingInputMode в спецификации алгоритма. Для распределенных алгоритмов обучения укажите количество экземпляров больше 1.

Примечание

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

Примечание

Обучение SageMaker на экземплярах Amazon Elastic Compute Cloud (EC2) P4de находится в предварительной версии, начиная с 9 декабря 2022 года.

Экземпляры Amazon EC2 P4de (в настоящее время в предварительной версии) оснащены 8 графическими процессорами NVIDIA A100 с 80 ГБ высокопроизводительной памяти HBM2e, которые ускоряют скорость обучения моделей ML, которые необходимо обучить на больших наборах данных с данными высокого разрешения. В этой предварительной версии Amazon SageMaker поддерживает задачи обучения ML на экземплярах P4de (ml.p4de.24xlarge), чтобы сократить время обучения модели. Экземпляры ml.p4de.24xlarge доступны в следующих регионах Amazon Web Services.

US East (N. Virginia) (us-east-1)
US West (Oregon) (us-west-2)

Для запроса увеличения квоты и начала использования экземпляров P4de обратитесь в службу SageMaker Training через вашу команду по работе с аккаунтом.

InstanceCount -> (целое число)

Количество вычислительных экземпляров ML для использования. Для распределенного обучения укажите значение больше 1.

VolumeSizeInGB -> (целое число)

Размер тома хранения ML, который вы хотите зарезервировать.

Тома хранения ML хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать том хранения ML для временного пространства. Если вы хотите хранить обучающие данные в томе хранения ML, выберите File в качестве TrainingInputMode в спецификации алгоритма.

При использовании экземпляра ML с NVMe SSD томами, SageMaker не резервирует хранилище Amazon EBS General Purpose SSD (gp2). Доступное хранилище фиксировано для емкости хранилища NVMe-типа экземпляра. SageMaker настраивает пути к хранилищу для наборов данных обучения, контрольных точек, артефактов модели и выходов, чтобы использовать всю емкость хранилища экземпляра. Например, семейства экземпляров ML с хранилищем экземпляра типа NVMe включают ml.p4d, ml.g4dn и ml.g5.

При использовании экземпляра ML с опцией хранилища только EBS и без хранилища экземпляра, вы должны определить размер тома EBS с помощью VolumeSizeInGB в API ResourceConfig. Например, семейства экземпляров ML, которые используют тома EBS, включают ml.c5 и ml.p2.

Для поиска типов экземпляров и их типов хранилища экземпляров и томов см. Типы экземпляров Amazon EC2.

Чтобы найти стандартные локальные пути, определенные платформой SageMaker Training, см. Папки хранения Amazon SageMaker Training для наборов данных обучения, контрольных точек, артефактов модели и выходов.

VolumeKmsKeyId -> (строка)

Примечание

Некоторые экземпляры на основе Nitro включают локальное хранилище, зависящее от типа экземпляра. Локальные тома хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляра, см. в Томах хранилища экземпляров.

Дополнительную информацию о шифровании локального хранилища экземпляров см. в Томах хранилища экземпляров SSD.

VolumeKmsKeyId может иметь любой из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса Amazon (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

KeepAlivePeriodInSeconds -> (целое число)

Продолжительность в секундах хранения настроенных ресурсов в пуле "warm" для последующих задач обучения.

InstanceGroups -> (список)

Настройка гетерогенного кластера в формате JSON.

(структура)

Определяет группу экземпляров для гетерогенного кластерного обучения. При запросе задачи обучения с помощью API CreateTrainingJob вы можете настроить несколько групп экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

InstanceCount -> (целое число)

Указывает количество экземпляров группы экземпляров.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

TrainingPlanArn -> (строка)

Имя ресурса Amazon (ARN) плана обучения, используемого для этой конфигурации ресурсов.

HyperParameterTuningResourceConfig -> (структура)

Настройка ресурсов для настройки гиперпараметров, включая вычислительные экземпляры и объёмы хранилища, используемые для обучающих заданий, запущенных задачей настройки. По умолчанию объёмы хранилища содержат артефакты моделей и промежуточные состояния. Выберите File для TrainingInputMode в параметре AlgorithmSpecification, чтобы дополнительно сохранить обучающие данные в объёме хранилища (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для запуска заданий настройки оптимизации гиперпараметров. См. описание типов экземпляров для получения дополнительной информации.

InstanceCount -> (целое число)

Количество вычислительных экземпляров типа InstanceType для использования. Для распределённого обучения выберите значение, большее 1.

VolumeSizeInGB -> (целое число)

Размер объёма хранилища в ГБ, который будет использоваться при обработке заданий оптимизации гиперпараметров (необязательно). Эти объёмы хранят артефакты моделей, промежуточные состояния и, по желанию, рабочее пространство для обучающих алгоритмов. Не предоставляйте значение для этого параметра, если также указано значение для InstanceConfigs.

Некоторые типы экземпляров имеют фиксированный общий размер локального хранилища. Если вы выберете один из этих экземпляров для обучения, VolumeSizeInGB не может быть больше этого общего размера. Список типов экземпляров с локальным хранилищем экземпляров и их размерами см. в разделе объёмы хранилища экземпляров.

Примечание

SageMaker поддерживает только тип объёма хранилища General Purpose SSD (gp2).

VolumeKmsKeyId -> (строка)

Ключ, используемый службой управления ключами Amazon Web Services для шифрования данных в объёме хранилища, подключённом к вычислительным экземплярам, используемым для запуска обучающего задания. Для указания ключа можно использовать один из следующих форматов.

Идентификатор ключа KMS:

"1234abcd-12ab-34cd-56ef-1234567890ab"

Идентификатор ресурса Amazon (ARN) ключа KMS:

"arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

Некоторые экземпляры используют локальное хранилище, которое использует аппаратный модуль для шифрования объёмов хранилища. Если вы выбираете один из этих типов экземпляров, вы не можете запросить VolumeKmsKeyId. Список типов экземпляров, использующих локальное хранилище, см. в разделе объёмы хранилища экземпляров. Дополнительную информацию о службе управления ключами Amazon Web Services см. в разделе шифрование KMS.

AllocationStrategy -> (строка)

Стратегия, определяющая порядок приоритета ресурсов, указанных в InstanceConfigs, используемых в оптимизации гиперпараметров.

InstanceConfigs -> (список)

Список, содержащий конфигурацию(и) для одного или нескольких ресурсов для обработки заданий настройки гиперпараметров. Эти ресурсы включают вычислительные экземпляры и объёмы хранилища, которые будут использоваться в заданиях обучения моделей, запускаемых заданиями настройки гиперпараметров. AllocationStrategy управляет порядком использования нескольких конфигураций, предоставленных в InstanceConfigs.

Примечание

Если вы хотите использовать только одну конфигурацию экземпляра внутри API HyperParameterTuningResourceConfig, не предоставляйте значение для InstanceConfigs. Вместо этого используйте InstanceType, VolumeSizeInGB и InstanceCount. Если вы используете InstanceConfigs, не предоставляйте значения для InstanceType, VolumeSizeInGB или InstanceCount.

(структура)

Настройка ресурсов для настройки гиперпараметров для использования в обучающих заданиях, запускаемых задачей настройки. Эти ресурсы включают вычислительные экземпляры и объёмы хранилища. Укажите одну или несколько конфигураций вычислительных экземпляров и стратегии распределения для выбора ресурсов (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для обработки заданий оптимизации гиперпараметров. Выберите типы экземпляров общего назначения (без графических процессоров): ml.m5.xlarge, ml.m5.2xlarge и ml.m5.4xlarge или типы экземпляров с оптимизированной вычислительной мощностью (без графических процессоров): ml.c5.xlarge и ml.c5.2xlarge. Дополнительную информацию о типах экземпляров см. в описании типов экземпляров.

InstanceCount -> (целое число)

Количество экземпляров типа, указанного в InstanceType. Выберите количество экземпляров, большее 1, для распределённых алгоритмов обучения. Дополнительную информацию см. в шаге 2: запуск задания распределённого обучения SageMaker с помощью SageMaker Python SDK.

VolumeSizeInGB -> (целое число)

Размер объёма данных в ГБ, которые будут обрабатываться для оптимизации гиперпараметров (необязательно).

StoppingCondition -> (структура)

Устанавливает ограничение на длительность работы задания обучения модели с гиперпараметрами. Он также устанавливает ограничение времени для завершения управляемого задания обучения по предоставленным ресурсам. При достижении лимита времени SageMaker завершает задание обучения. Используйте этот API, чтобы ограничить расходы на обучение модели.

MaxRuntimeInSeconds -> (целое число)

Максимальная продолжительность работы задания обучения или компиляции в секундах до его остановки.

Для заданий компиляции, если задание не завершается в течение этого времени, генерируется ошибка TimeOut. Рекомендуется начать с 900 секунд и увеличивать по мере необходимости, основываясь на вашей модели.

Для всех остальных заданий, если задание не завершается в течение этого времени, SageMaker завершает задание. Если RetryStrategy указан в запросе задания, MaxRuntimeInSeconds указывает максимальное время для всех попыток в совокупности, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение составляет 28 дней.

Максимальное время выполнения TrainingJob в общей сложности, включая любое время, потраченное на публикацию метрик или архивирование и загрузку моделей после остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время в секундах, которое управляемое задание обучения на предоставленных ресурсах должно завершиться. Это время, затраченное на ожидание выделения ресурсов, плюс время работы задания. Оно должно быть равно или больше MaxRuntimeInSeconds. Если задание не завершается в течение этого времени, SageMaker завершает задание.

Если RetryStrategy указан в запросе задания, MaxWaitTimeInSeconds указывает максимальное время для всех попыток в совокупности, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальное время в секундах, которое задание обучения или компиляции может находиться в состоянии ожидания перед остановкой.

Примечание

При работе с заданиями обучения, которые используют емкость из планов обучения, не все состояния заданий Pending учитываются в лимите MaxPendingTimeInSeconds. Следующие сценарии не увеличивают счётчик MaxPendingTimeInSeconds:

План находится в состоянии Scheduled: Задачи, поставленные в очередь (в статусе Pending) до даты начала плана (ожидание запланированного времени начала)
Между резервациями ресурсов: Задачи временно возвращаются в состояние Pending между двумя периодами резервации ресурсов

MaxPendingTimeInSeconds увеличивается только тогда, когда задания активно ожидают ресурсов в плане Active.

EnableNetworkIsolation -> (булево)

Изолирует контейнер обучения. Не допускаются входящие или исходящие сетевые вызовы, кроме вызовов между узлами в пределах кластера обучения для распределенного обучения. Если для заданий обучения используется изоляция сети, SageMaker загружает и загружает данные клиентов и артефакты моделей через указанный VPC, но контейнер обучения не имеет сетевого доступа.

EnableInterContainerTrafficEncryption -> (булево)

Для шифрования всех коммуникаций между экземплярами ML-вычислений в распределенном обучении выберите True. Шифрование обеспечивает большую безопасность для распределенного обучения, но обучение может занять больше времени. Время зависит от объема коммуникаций между экземплярами вычислений, особенно если вы используете алгоритм глубокого обучения в распределенном обучении.

EnableManagedSpotTraining -> (булево)

Булевое значение, указывающее, включено ли управляемое обучение на предоставленных ресурсах (True) или нет (False).

CheckpointConfig -> (структура)

Содержит информацию об расположении выходных данных для данных контрольных точек управляемого обучения на предоставленных ресурсах.

S3Uri -> (строка)

Идентифицирует путь S3, где вы хотите, чтобы SageMaker сохранил контрольные точки. Например, s3://bucket-name/key-name-prefix.

LocalPath -> (строка)

(Необязательно) Локальный каталог, в котором записываются контрольные точки. По умолчанию используется каталог /opt/ml/checkpoints/.

RetryStrategy -> (структура)

Количество попыток повторного выполнения задания, когда задание завершается неудачно из-за InternalServerError.

MaximumRetryAttempts -> (целое число)

Количество попыток повторного выполнения задания. При повторном выполнении задания SecondaryStatus изменяется на STARTING.

Environment -> (карта)

Примечание

Максимальное количество элементов, указанных для Map Entries, относится к максимальному числу переменных среды для каждого TrainingJobDefinition, а также к максимальному числу для самого задания настройки гиперпараметров. То есть сумма количества переменных среды для всех определений заданий обучения не может превышать максимальное указанное количество.

key -> (строка)

value -> (строка)

Синтаксис JSON:

[
  {
    "DefinitionName": "string",
    "TuningObjective": {
      "Type": "Maximize"|"Minimize",
      "MetricName": "string"
    },
    "HyperParameterRanges": {
      "IntegerParameterRanges": [
        {
          "Name": "string",
          "MinValue": "string",
          "MaxValue": "string",
          "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
        }
        ...
      ],
      "ContinuousParameterRanges": [
        {
          "Name": "string",
          "MinValue": "string",
          "MaxValue": "string",
          "ScalingType": "Auto"|"Linear"|"Logarithmic"|"ReverseLogarithmic"
        }
        ...
      ],
      "CategoricalParameterRanges": [
        {
          "Name": "string",
          "Values": ["string", ...]
        }
        ...
      ],
      "AutoParameters": [
        {
          "Name": "string",
          "ValueHint": "string"
        }
        ...
      ]
    },
    "StaticHyperParameters": {"string": "string"
      ...},
    "AlgorithmSpecification": {
      "TrainingImage": "string",
      "TrainingInputMode": "Pipe"|"File"|"FastFile",
      "AlgorithmName": "string",
      "MetricDefinitions": [
        {
          "Name": "string",
          "Regex": "string"
        }
        ...
      ]
    },
    "RoleArn": "string",
    "InputDataConfig": [
      {
        "ChannelName": "string",
        "DataSource": {
          "S3DataSource": {
            "S3DataType": "ManifestFile"|"S3Prefix"|"AugmentedManifestFile",
            "S3Uri": "string",
            "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
            "AttributeNames": ["string", ...],
            "InstanceGroupNames": ["string", ...],
            "ModelAccessConfig": {
              "AcceptEula": true|false
            },
            "HubAccessConfig": {
              "HubContentArn": "string"
            }
          },
          "FileSystemDataSource": {
            "FileSystemId": "string",
            "FileSystemAccessMode": "rw"|"ro",
            "FileSystemType": "EFS"|"FSxLustre",
            "DirectoryPath": "string"
          }
        },
        "ContentType": "string",
        "CompressionType": "None"|"Gzip",
        "RecordWrapperType": "None"|"RecordIO",
        "InputMode": "Pipe"|"File"|"FastFile",
        "ShuffleConfig": {
          "Seed": long
        }
      }
      ...
    ],
    "VpcConfig": {
      "SecurityGroupIds": ["string", ...],
      "Subnets": ["string", ...]
    },
    "OutputDataConfig": {
      "KmsKeyId": "string",
      "S3OutputPath": "string",
      "CompressionType": "GZIP"|"NONE"
    },
    "ResourceConfig": {
      "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
      "InstanceCount": integer,
      "VolumeSizeInGB": integer,
      "VolumeKmsKeyId": "string",
      "KeepAlivePeriodInSeconds": integer,
      "InstanceGroups": [
        {
          "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
          "InstanceCount": integer,
          "InstanceGroupName": "string"
        }
        ...
      ],
      "TrainingPlanArn": "string"
    },
    "HyperParameterTuningResourceConfig": {
      "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
      "InstanceCount": integer,
      "VolumeSizeInGB": integer,
      "VolumeKmsKeyId": "string",
      "AllocationStrategy": "Prioritized",
      "InstanceConfigs": [
        {
          "InstanceType": "ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.p3dn.24xlarge"|"ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5n.xlarge"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.8xlarge"|"ml.c6i.4xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge",
          "InstanceCount": integer,
          "VolumeSizeInGB": integer
        }
        ...
      ]
    },
    "StoppingCondition": {
      "MaxRuntimeInSeconds": integer,
      "MaxWaitTimeInSeconds": integer,
      "MaxPendingTimeInSeconds": integer
    },
    "EnableNetworkIsolation": true|false,
    "EnableInterContainerTrafficEncryption": true|false,
    "EnableManagedSpotTraining": true|false,
    "CheckpointConfig": {
      "S3Uri": "string",
      "LocalPath": "string"
    },
    "RetryStrategy": {
      "MaximumRetryAttempts": integer
    },
    "Environment": {"string": "string"
      ...}
  }
  ...
]

--warm-start-config (структура)

Указывает конфигурацию для запуска задания настройки гиперпараметров, используя одно или несколько предыдущих заданий настройки в качестве отправной точки. Результаты предыдущих заданий настройки используются для определения комбинаций гиперпараметров, которые необходимо исследовать в новом задании настройки.

Все задания обучения, запущенные новым заданием настройки гиперпараметров, оцениваются с использованием целевого метрика. Если вы укажете IDENTICAL_DATA_AND_ALGORITHM в качестве значения WarmStartType для конфигурации теплого старта, задание обучения, которое выполняется лучше всего в новом задании настройки, сравнивается с лучшими заданиями обучения из родительских заданий настройки. Из этих заданий возвращается задание обучения, которое выполняется лучше всего, как измеряется целевым метриком, как общее лучшее задание обучения.

Примечание

Все задания обучения, запущенные родительскими заданиями настройки гиперпараметров и новым заданием настройки гиперпараметров, учитываются в пределе заданий обучения для задания настройки.

ParentHyperParameterTuningJobs -> (список)

Массив заданий настройки гиперпараметров, которые используются в качестве отправной точки для нового задания настройки гиперпараметров. Дополнительную информацию о запуске задания настройки гиперпараметров с использованием теплого старта см. в разделе Использование предыдущего задания настройки гиперпараметров в качестве отправной точки.

Задания настройки гиперпараметров, созданные до 1 октября 2018 года, не могут использоваться в качестве родительских заданий для заданий настройки с теплым запуском.

(структура)

Ранее завершенное или остановленное задание настройки гиперпараметров, которое будет использоваться в качестве отправной точки для нового задания настройки гиперпараметров.

HyperParameterTuningJobName -> (строка)

Имя задания настройки гиперпараметров, которое будет использоваться в качестве отправной точки для нового задания настройки гиперпараметров.

WarmStartType -> (строка)

Указывает одно из следующих значений:

IDENTICAL_DATA_AND_ALGORITHM

Новое задание настройки гиперпараметров использует те же входные данные и образ обучения, что и родительские задания настройки. Вы можете изменить диапазоны гиперпараметров для поиска и максимальное количество заданий обучения, которые запускает задание настройки гиперпараметров. Вы не можете использовать новую версию алгоритма обучения, если изменения в новой версии не влияют на сам алгоритм. Например, разрешены изменения, улучшающие ведение журнала или добавляющие поддержку для другого формата данных. Вы также можете изменить гиперпараметры с настраиваемых на статические и со статических на настраиваемые, но общее количество статических плюс настраиваемых гиперпараметров должно оставаться таким же, как во всех родительских заданиях. Целевой метрика для нового задания настройки должна быть такой же, как и для всех родительских заданий.

TRANSFER_LEARNING

Новое задание настройки гиперпараметров может включать входные данные, диапазоны гиперпараметров, максимальное количество одновременных заданий обучения и максимальное количество заданий обучения, которые отличаются от тех, что есть у его родительских заданий настройки гиперпараметров. Образ обучения также может быть другой версией, чем версия, используемая в родительском задании настройки гиперпараметров. Вы также можете изменить гиперпараметры с настраиваемых на статические и со статических на настраиваемые, но общее количество статических плюс настраиваемых гиперпараметров должно оставаться таким же, как во всех родительских заданиях. Целевой метрика для нового задания настройки должна быть такой же, как и для всех родительских заданий.

Сокращенная синтаксическая запись:

ParentHyperParameterTuningJobs=[{HyperParameterTuningJobName=string},{HyperParameterTuningJobName=string}],WarmStartType=string

Синтаксис JSON:

{
  "ParentHyperParameterTuningJobs": [
    {
      "HyperParameterTuningJobName": "string"
    }
    ...
  ],
  "WarmStartType": "IdenticalDataAndAlgorithm"|"TransferLearning"
}

--tags (список)

Массив пар ключ-значение. Вы можете использовать теги для категоризации ресурсов Amazon Web Services различными способами, например, по назначению, владельцу или среде. Дополнительную информацию см. в разделе Тегирование ресурсов Amazon Web Services.

Теги, которые вы указываете для задания настройки, также добавляются ко всем заданиям обучения, которые запускает это задание настройки.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавить теги к экземплярам ноутбуков, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении тегов к ресурсам SageMaker см. в разделе AddTags .

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью тегов см. в разделе Тегирование ресурсов Amazon Web Services. Советы по лучшим практикам управления ресурсами Amazon Web Services с помощью тегов см. в разделе Практические рекомендации по тегам: реализация эффективной стратегии тегирования ресурсов Amazon Web Services.

Key -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Value -> (строка)

Значение тега.

Сокращенная синтаксическая запись:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--autotune (структура)

Настраивает автоматическую настройку моделей SageMaker (AMT) для автоматического поиска оптимальных параметров для следующих полей:

ParameterRanges : Имена и диапазоны параметров, которые может оптимизировать задание настройки гиперпараметров.
ResourceLimits : Максимальные ресурсы, которые могут использоваться для задания обучения. Эти ресурсы включают максимальное количество заданий обучения, максимальную продолжительность задания настройки и максимальное количество заданий обучения, которые можно запускать одновременно.
TrainingJobEarlyStoppingType : Флаг, указывающий, использовать ли раннее прекращение для заданий обучения, запущенных заданием настройки гиперпараметров.
RetryStrategy : Количество попыток повторного запуска задания обучения.
Strategy : Указывает, как задание настройки гиперпараметров выбирает комбинации значений гиперпараметров для использования в заданиях обучения, которые оно запускает.
ConvergenceDetected : Флаг для указания того, что автоматическая настройка моделей (AMT) обнаружила сходимость модели.

Mode -> (строка)

Установите Mode на Enabled, если вы хотите использовать Autotune.

Сокращенная синтаксическая запись:

Mode=string

Синтаксис JSON:

{
  "Mode": "Enabled"
}

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения перепишут значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или с значением input, выводится пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команд и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладку ведения журнала.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию, связанное с проверкой SSL-сертификатов.

--no-paginate (логическое значение)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
текст
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет параметры конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

включить
выключить
автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл с пакетом сертификатов CA для проверки SSL-сертификатов. Переопределяет параметры конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде строки, закодированной в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое отображается в двоичный блок, fileb:// всегда будет обрабатываться как двоичное и будет использовать содержимое файла напрямую, независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить кли-пагинатор для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров ввода CLI.

Вывод

HyperParameterTuningJobArn -> (строка)

Amazon Resource Name (ARN) задания настройки. SageMaker присваивает ARN заданию настройки гиперпараметров при его создании.