describe-hyper-parameter-tuning-job

Описание

Возвращает описание задачи настройки гиперпараметров, в зависимости от выбранных полей. Эти поля могут включать имя, Amazon Resource Name (ARN), статус задачи настройки и многое другое.

См. также: Документация API AWS

Синтаксис

  describe-hyper-parameter-tuning-job
--hyper-parameter-tuning-job-name <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--hyper-parameter-tuning-job-name (строка)

Имя задачи настройки.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному в --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, поскольку строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или значение input, выводит JSON-пример входных данных, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, оно выведет пример входных данных YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладочную запись журналов.

--endpoint-url (строка)

Переопределить адрес по умолчанию команды заданным адресом.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из вашего файла учетных данных.

--region (строка)

Регион для использования. Переопределяет параметры конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл сертификатов CA для проверки сертификатов SSL. Переопределяет параметры конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как base64-кодированная строка. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла непосредственно независимо от настроек cli-binary-format. При использовании file:// содержимое файла должно быть правильно отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить выводом страниц CLI для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

HyperParameterTuningJobName -> (строка)

Название работы по подбору гиперпараметров.

HyperParameterTuningJobArn -> (строка)

Amazon Resource Name (ARN) работы по подбору гиперпараметров.

HyperParameterTuningJobConfig -> (структура)

Объект HyperParameterTuningJobConfig, определяющий конфигурацию работы по подбору гиперпараметров.

Strategy -> (строка)

Указывает, как работа по подбору гиперпараметров выбирает комбинации значений гиперпараметров для использования в работе обучения, которую она запускает. Подробную информацию о стратегиях поиска см. в разделе Как работает подбор гиперпараметров .

StrategyConfig -> (структура)

Конфигурация для стратегии оптимизации Hyperband. Этот параметр должен быть предоставлен только в том случае, если Hyperband выбран в качестве стратегии для HyperParameterTuningJobConfig .

HyperbandStrategyConfig -> (структура)

Конфигурация объекта, определяющего стратегию Hyperband. Этот параметр поддерживается только для выбора Hyperband для Strategy в API HyperParameterTuningJobConfig.

MinResource -> (целое число)

Минимальное количество ресурсов (например, эпох), которые могут быть использованы работой обучения, запущенной работой по подбору гиперпараметров. Если значение для MinResource не достигнуто, работа обучения не останавливается Hyperband.

MaxResource -> (целое число)

Максимальное количество ресурсов (например, эпох), которое может быть использовано работой обучения, запущенной работой по подбору гиперпараметров. После достижения значения MaxResource работа останавливается. Если значение для MaxResource не указано, а Hyperband выбрана в качестве стратегии подбора гиперпараметров, HyperbandTraining пытается вывести значение MaxResource из следующих ключей (если они присутствуют) в StaticsHyperParameters :

epochs
numepochs
n-epochs
n_epochs
num_epochs

Если HyperbandStrategyConfig не удается вывести значение для MaxResource, генерируется ошибка валидации. Максимальное значение составляет 20 000 эпох. Все метрики, соответствующие целевой метрике, используются для принятия решений об остановке обучения. Для работ распределенного обучения убедитесь, что дублирующие метрики не выводятся в журналы на отдельных узлах в работе обучения. Если несколько узлов публикуют дублирующиеся или некорректные метрики, работы обучения могут принять неверное решение об остановке и остановить работу преждевременно.

HyperParameterTuningJobObjective -> (структура)

HyperParameterTuningJobObjective определяет целевую метрику, используемую для оценки производительности работ обучения, запущенных данной работой по подбору.

Type -> (строка)

Минимизировать или максимизировать целевую метрику.

MetricName -> (строка)

Название метрики для целевой метрики.

ResourceLimits -> (структура)

Объект ResourceLimits, определяющий максимальное количество работ обучения и параллельных работ обучения, которые могут быть использованы для данной работы по подбору гиперпараметров.

MaxNumberOfTrainingJobs -> (целое число)

Максимальное количество работ обучения, которые может запустить работа по подбору гиперпараметров.

MaxParallelTrainingJobs -> (целое число)

Максимальное количество одновременных работ обучения, которые может запустить работа по подбору гиперпараметров.

MaxRuntimeInSeconds -> (целое число)

Максимальное время работы работы по подбору гиперпараметров в секундах.

ParameterRanges -> (структура)

Объект ParameterRanges, определяющий диапазоны гиперпараметров, по которым ищет эта работа по подбору, чтобы найти оптимальную конфигурацию для максимальной производительности модели по выбранной целевой метрике.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, определяющих диапазоны целочисленных гиперпараметров, по которым ищет работа по подбору гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа определяет диапазон, по которому ищет работа по подбору гиперпараметров.

Name -> (строка)

Имя гиперпараметра для поиска.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Масштаб, используемый работой по подбору гиперпараметров для поиска диапазона гиперпараметров. Подробную информацию о выборе масштаба гиперпараметров см. в разделе Масштабирование гиперпараметров . Одно из следующих значений:

Auto

Сервис SageMaker выбирает наилучший масштаб для гиперпараметра.

Linear

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения, большие 0.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, определяющих диапазоны непрерывных гиперпараметров, по которым ищет работа по подбору гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

Минимальное значение для гиперпараметра. Работа подбора использует значения с плавающей точкой между этим значением и MaxValue для настройки.

MaxValue -> (строка)

Максимальное значение для гиперпараметра. Работа подбора использует значения с плавающей точкой между значением MinValue и этим значением для настройки.

ScalingType -> (строка)

Auto

Сервис SageMaker выбирает наилучший масштаб для гиперпараметра.

Linear

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

ReverseLogarithmic

Подбор гиперпараметров ищет значения в диапазоне гиперпараметров, используя обратный логарифмический масштаб.

Обратное логарифмическое масштабирование работает только для диапазонов, полностью находящихся в диапазоне 0<=x<1.0.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, определяющих диапазоны категориальных гиперпараметров, по которым ищет работа по подбору гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примерные значения, которые используются Autotune для определения оптимальных диапазонов для вашей работы по подбору.

(структура)

Имя и примерное значение гиперпараметра, которые вы хотите использовать в Autotune. Если автоматическая настройка моделей (AMT) определяет, что ваш гиперпараметр подходит для Autotune, для вас выбирается оптимальный диапазон гиперпараметров.

Name -> (строка)

Имя гиперпараметра для оптимизации с помощью Autotune.

ValueHint -> (строка)

Примерное значение гиперпараметра для оптимизации с помощью Autotune.

TrainingJobEarlyStoppingType -> (строка)

Указывает, использовать ли раннее прекращение для работ обучения, запущенных работой по подбору гиперпараметров. Поскольку стратегия Hyperband имеет собственный усовершенствованный внутренний механизм раннего прекращения, TrainingJobEarlyStoppingType должен быть OFF для использования Hyperband. Этот параметр может принимать одно из следующих значений (значение по умолчанию — OFF):

OFF

Работы обучения, запущенные работой по подбору гиперпараметров, не используют раннее прекращение.

AUTO

SageMaker останавливает работы обучения, запущенные работой по подбору гиперпараметров, когда они вряд ли будут выполнять лучше, чем ранее завершенные работы обучения. Дополнительные сведения см. в разделе Раннее прекращение работ обучения .

TuningJobCompletionCriteria -> (структура)

Критерии завершения работы по подбору.

TargetObjectiveMetricValue -> (число с плавающей точкой)

Значение целевой метрики.

BestObjectiveNotImproving -> (структура)

Флаг для остановки вашей работы по подбору гиперпараметров, если производительность модели не улучшается, как оценивается по функции цели.

MaxNumberOfTrainingJobsNotImproving -> (целое число)

Количество работ обучения, которым не удалось улучшить производительность модели на 1% или больше по сравнению с предыдущими работами обучения, как оценивается по функции цели.

ConvergenceDetected -> (структура)

Флаг для остановки работы по подбору гиперпараметров, если автоматическая настройка моделей (AMT) определила, что ваша модель сошлась, как оценивается по функции цели.

CompleteOnConvergence -> (строка)

Флаг для остановки работы по подбору после того, как AMT определит, что работа сошлась.

RandomSeed -> (целое число)

Значение, используемое для инициализации генератора псевдослучайных чисел. Установка случайного зерна и использование того же зерна позже для той же работы по подбору позволит оптимизации гиперпараметров найти более согласованную конфигурацию гиперпараметров между двумя запусками.

TrainingJobDefinition -> (структура)

Объект HyperParameterTrainingJobDefinition, определяющий параметры запускаемых этим заданием настройки обучения.

DefinitionName -> (строка)

Имя определения задания.

TuningObjective -> (структура)

Определяет метрику-цель для задания настройки гиперпараметров. Настройка гиперпараметров использует значение этой метрики для оценки запускаемых заданий обучения и возвращает задание обучения, которое приводит к либо максимальному, либо минимальному значению этой метрики в зависимости от значения параметра Type. Если вы хотите определить пользовательскую метрику цели, см. Определение метрик и переменных среды.

Type -> (строка)

Указывает, следует ли минимизировать или максимизировать метрику-цель.

MetricName -> (строка)

Имя метрики, используемой для метрики-цели.

HyperParameterRanges -> (структура)

Определяет диапазоны целочисленных, непрерывных и категориальных гиперпараметров, которые ищет задание настройки гиперпараметров. Задание настройки гиперпараметров запускает задания обучения с значениями гиперпараметров в этих диапазонах, чтобы найти комбинацию значений, которая приводит к заданию обучения с наилучшей производительностью, как измеряется метрикой-целью задания настройки гиперпараметров.

Примечание

Максимальное количество элементов, указанных для Array Members, относится к максимальному количеству гиперпараметров для каждого диапазона, а также к максимальному количеству для самого задания настройки гиперпараметров. То есть сумма количества гиперпараметров для всех диапазонов не должна превышать указанное максимальное значение.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, которые определяют диапазоны целочисленных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа определяет диапазон, в котором ищет задание настройки гиперпараметров.

Name -> (строка)

Имя гиперпараметра для поиска.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Масштаб, который использует настройка гиперпараметров для поиска диапазона гиперпараметров. Сведения о выборе масштаба гиперпараметров см. в разделе Масштабирование гиперпараметров. Одно из следующих значений:

Auto

Настройка гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения, большие 0.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, которые определяют диапазоны непрерывных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

Минимальное значение для гиперпараметра. Задание настройки использует значения с плавающей точкой между этим значением и MaxValue для настройки.

MaxValue -> (строка)

Максимальное значение для гиперпараметра. Задание настройки использует значения с плавающей точкой между значением MinValue и этим значением для настройки.

ScalingType -> (строка)

Auto

Настройка гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя линейный масштаб.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя логарифмический масштаб.

ReverseLogarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров, используя обратный логарифмический масштаб.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, которые определяют диапазоны категориальных гиперпараметров, которые ищет задание настройки гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примеры значений, используемых Autotune для определения оптимальных диапазонов для вашего задания настройки.

(структура)

Имя и пример значения гиперпараметра, которые вы хотите использовать в Autotune. Если автоматическая настройка моделей (AMT) определит, что ваш гиперпараметр подходит для Autotune, для вас будет выбран оптимальный диапазон гиперпараметров.

Name -> (строка)

Имя гиперпараметра, который нужно оптимизировать с помощью Autotune.

ValueHint -> (строка)

Пример значения гиперпараметра, который нужно оптимизировать с помощью Autotune.

StaticHyperParameters -> (карта)

Указывает значения гиперпараметров, которые не изменяются для задания настройки.

ключ -> (строка)

значение -> (строка)

AlgorithmSpecification -> (структура)

Объект HyperParameterAlgorithmSpecification, определяющий алгоритм ресурсов, который нужно использовать для заданий обучения, запускаемых заданием настройки.

TrainingImage -> (строка)

Путь к реестру Docker-изображения, содержащего алгоритм обучения. Сведения о путях к реестру Docker для встроенных алгоритмов см. в разделе Алгоритмы, предоставляемые Amazon SageMaker: общие параметры. SageMaker поддерживает оба формата пути к изображению registry/repository[:tag] и registry/repository[@digest]. Дополнительные сведения см. в разделе Использование собственных алгоритмов с Amazon SageMaker.

TrainingInputMode -> (строка)

Режим входных данных обучения, поддерживаемый алгоритмом. Дополнительные сведения о режимах ввода см. в разделе Алгоритмы.

Режим канала

Если алгоритм поддерживает режим Pipe, Amazon SageMaker передает данные напрямую из Amazon S3 в контейнер.

Режим файла

Если алгоритм поддерживает режим File, SageMaker загружает данные обучения из S3 в выделенный том ML-хранилища и монтирует каталог в том Docker для контейнера обучения.

Вы должны выделить том ML-хранилища с достаточной емкостью для размещения данных, загруженных из S3. Кроме данных обучения, том ML-хранилища также хранит выходную модель. Контейнер алгоритма также использует том ML-хранилища для хранения промежуточной информации, если таковая имеется.

Для распределенных алгоритмов данные обучения распределяются равномерно. Время обучения предсказуемо, если размеры объектов входных данных примерно одинаковы. SageMaker не разбивает файлы дальше для обучения модели. Если размеры объектов различаются, обучение не будет оптимальным, так как распределение данных также различается, когда один узел в кластере обучения перегружен, что приводит к узкой горловине при обучении.

Режим FastFile

Если алгоритм поддерживает режим FastFile, SageMaker передает данные напрямую из S3 в контейнер без внесения изменений в код и предоставляет доступ к файловой системе к данным. Пользователи могут настроить свою скрипт обучения для работы с этими файлами так, как будто они хранятся на диске.

FastFile режим работает лучше всего при последовательном чтении данных. Расширенные файлы манифестов не поддерживаются. Время запуска меньше, когда в предоставленном ведре S3 меньше файлов.

AlgorithmName -> (строка)

Имя алгоритма ресурсов для использования в задании настройки гиперпараметров. Если вы указали значение для этого параметра, не указывайте значение для TrainingImage.

MetricDefinitions -> (список)

Массив объектов MetricDefinition, которые определяют метрики, которые генерирует алгоритм.

(структура)

Определяет метрику, которую алгоритм обучения записывает в stderr или stdout. Вы можете просмотреть эти журналы, чтобы понять, как выполняется ваше задание обучения и проверить наличие ошибок, возникших во время обучения. Настройка гиперпараметров SageMaker захватывает все определенные метрики. Укажите одну из определенных метрик для использования в качестве метрики-цели, используя параметр TuningObjective в API HyperParameterTrainingJobDefinition, чтобы оценить производительность задания во время настройки гиперпараметров.

Name -> (строка)

Имя метрики.

Regex -> (строка)

Регулярное выражение, которое ищет в выходе задания обучения и получает значение метрики. Дополнительные сведения об использовании регулярных выражений для определения метрик см. в разделе Определение метрик и переменных среды.

RoleArn -> (строка)

Идентификатор Amazon Resource Name (ARN) роли IAM, связанной с заданиями обучения, которые запускает задание настройки.

InputDataConfig -> (список)

Массив объектов Channel, указывающих входные данные для обучающих задач, запускаемых задачей настройки гиперпараметров.

(структура)

Канал — это именованный источник входных данных, который могут использовать алгоритмы обучения.

ChannelName -> (строка)

Имя канала.

DataSource -> (структура)

Расположение данных канала.

S3DataSource -> (структура)

Расположение данных источника S3, связанного с каналом.

S3DataType -> (строка)

Если вы выберите S3Prefix , S3Uri определяет префикс имени ключа. SageMaker использует все объекты, соответствующие указанному префиксу имени ключа, для обучения модели.

Если вы выберите ManifestFile , S3Uri определяет объект, который является файлом манифеста, содержащим список ключей объектов, которые вы хотите использовать SageMaker для обучения модели.

Если вы выберите AugmentedManifestFile , S3Uri определяет объект, являющийся расширенным файлом манифеста в формате JSON-строк. Этот файл содержит данные, которые вы хотите использовать для обучения модели. AugmentedManifestFile может быть использован только в том случае, если режим ввода канала является Pipe .

S3Uri -> (строка)

В зависимости от значения, указанного для S3DataType , определяет либо префикс имени ключа, либо манифест. Например:

Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/
Манифест может выглядеть так: s3://bucketname/example.manifest. Манифест — это объект S3, который представляет собой JSON-файл, состоящий из массива элементов. Первый элемент — это префикс, за которым следуют один или несколько суффиксов. SageMaker добавляет суффиксы к префиксу, чтобы получить полный набор S3Uri. Обратите внимание, что префикс должен быть допустимым непустым S3Uri, что предотвращает пользователям указание манифеста, чьи отдельные S3Uri берутся из разных ведер S3. Следующий пример кода показывает допустимый формат манифеста: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Этот JSON эквивалентен следующему списку S3Uri: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uri в этом манифесте является входными данными для канала для этого источника данных. Объект, на который указывает каждый S3Uri, должен быть доступен для роли IAM, которую SageMaker использует для выполнения задач от вашего имени.

Ваше ведро ввода должно находиться в том же регионе Amazon Web Services, что и ваша обучающая задача.

S3DataDistributionType -> (строка)

Если вы хотите, чтобы SageMaker дублировал весь набор данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите FullyReplicated.

Если вы хотите, чтобы SageMaker дублировал подмножество данных на каждом экземпляре вычислительных ресурсов ML, запущенном для обучения модели, укажите ShardedByS3Key. Если запущено n экземпляров вычислительных ресурсов ML для обучающей задачи, каждый экземпляр получает приблизительно 1/n количества объектов S3. В этом случае обучение модели на каждом компьютере использует только подмножество обучающих данных.

Не выбирайте больше экземпляров вычислительных ресурсов ML для обучения, чем доступно объектов S3. В противном случае некоторые узлы не получат данные, и вы будете платить за узлы, которые не получают обучающих данных. Это относится как к режиму File, так и к режиму Pipe. Имейте это в виду при разработке алгоритмов.

В распределенном обучении, где используются несколько экземпляров EC2 ML, вы можете выбрать ShardedByS3Key. Если алгоритм требует копирования обучающих данных в том объём хранения ML (если TrainingInputMode задан как File), это копирует 1/n количества объектов.

AttributeNames -> (список)

Список одного или нескольких имён атрибутов для использования, найденных в указанном расширенном файле манифеста.

(строка)

InstanceGroupNames -> (список)

Список имён групп экземпляров, которые получают данные из источника данных S3.

(строка)

ModelAccessConfig -> (структура)

Файл конфигурации доступа для управления доступом к модели ML. Вы можете явно принять лицензионное соглашение с конечным пользователем модели (EULA) в рамках ModelAccessConfig.

Если вы пользователь Jumpstart, см. раздел Лицензионные соглашения с конечным пользователем для получения дополнительной информации о принятии EULA.
Если вы пользователь AutoML, см. раздел Дополнительные параметры в разделе Создание задачи AutoML для дообучения моделей генерации текста с помощью API для получения подробностей о том, как установить подтверждение EULA при дообучении модели с помощью API AutoML.

AcceptEula -> (булево)

Указывает на согласие с лицензионным соглашением с конечным пользователем модели (EULA). Значение AcceptEula должно быть явно определено как True, чтобы принять EULA, требуемое данной моделью. Вы несете ответственность за ознакомление с любыми применимыми лицензионными условиями и убеждение в том, что они приемлемы для вашего варианта использования, прежде чем загружать или использовать модель.

HubAccessConfig -> (структура)

Конфигурация для ссылки на модель частного хаба, которая указывает на общедоступную модель хаба SageMaker JumpStart.

HubContentArn -> (строка)

ARN вашего содержимого частной модели хаба. Это должен быть ресурс типа ModelReference, указывающий на общедоступную модель хаба SageMaker JumpStart.

FileSystemDataSource -> (структура)

Файловая система, связанная с каналом.

FileSystemId -> (строка)

Идентификатор файловой системы.

FileSystemAccessMode -> (строка)

Режим доступа к монтированному каталогу, связанному с каналом. Каталог может быть смонтирован в режиме ro (только чтение) или в режиме rw (чтение и запись).

FileSystemType -> (строка)

Тип файловой системы.

DirectoryPath -> (строка)

Полный путь к каталогу, который нужно связать с каналом.

ContentType -> (строка)

Тип MIME данных.

CompressionType -> (строка)

Тип сжатия, если обучающие данные сжаты. Значение по умолчанию — None. CompressionType используется только в режиме ввода Pipe. В режиме File оставьте это поле пустым или установите в None.

RecordWrapperType -> (строка)

Укажите RecordIO, когда входные данные находятся в формате raw, но алгоритм обучения требует формат RecordIO. В этом случае SageMaker оборачивает каждый отдельный объект S3 в запись RecordIO. Если входные данные уже находятся в формате RecordIO, вам не нужно устанавливать этот атрибут. Для получения дополнительной информации см. Создание набора данных с использованием RecordIO.

В режиме File оставьте это поле пустым или установите в None.

InputMode -> (строка)

(Необязательно) Режим ввода для канала данных в обучающей задаче. Если вы не зададите значение для InputMode, SageMaker использует значение, заданное для TrainingInputMode. Используйте этот параметр для переопределения параметра TrainingInputMode в запросе AlgorithmSpecification, когда у вас есть канал, которому требуется другой режим ввода, отличный от общего для обучающей задачи. Для загрузки данных из Amazon Simple Storage Service (Amazon S3) на выделенный объём хранения ML и монтирования каталога в объём Docker используйте режим ввода File. Для потоковой передачи данных непосредственно из Amazon S3 в контейнер выберите режим ввода Pipe.

Для использования модели для инкрементного обучения выберите режим ввода File.

ShuffleConfig -> (структура)

Настройка параметра перемешивания входных данных в канале. Если вы используете S3Prefix для S3DataType, это перемешивает результаты совпадений префиксов ключей S3. Если вы используете ManifestFile, порядок ссылок на объекты S3 в ManifestFile перемешивается. Если вы используете AugmentedManifestFile, порядок JSON-строк в AugmentedManifestFile перемешивается. Порядок перемешивания определяется значением Seed.

Для режима ввода Pipe перемешивание выполняется в начале каждой эпохи. С большими наборами данных это гарантирует, что порядок обучающих данных отличается для каждой эпохи, что помогает уменьшить смещение и возможную переобучение. В многоузловой обучающей задаче, когда ShuffleConfig используется совместно с S3DataDistributionType из ShardedByS3Key, данные перемешиваются между узлами, так что содержимое, отправленное на определённый узел в первой эпохе, может быть отправлено на другой узел во второй эпохе.

Seed -> (long)

Определяет порядок перемешивания в значении ShuffleConfig.

VpcConfig -> (структура)

Объект VpcConfig, определяющий VPC, к которому вы хотите подключить обучающие задачи, запускаемые этой задачей настройки гиперпараметров. Управление доступом к вашему контейнеру обучения выполняется путём настройки VPC. Для получения дополнительной информации см. Защита обучающих задач с использованием виртуальной частной сети Amazon.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, определённого в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которому вы хотите подключить свою обучающую задачу или модель. Сведения о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

OutputDataConfig -> (структура)

Указывает путь к ведру Amazon S3, где хранятся артефакты моделей из обучающих заданий, запускаемых заданием настройки.

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования артефактов модели в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может быть представлен в одном из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним вашего ключа KMS, роль выполнения SageMaker должна иметь разрешения на вызов kms:Encrypt. Если вы не укажете идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в руководстве разработчика Amazon Simple Storage Service. Если данные вывода хранятся в Amazon S3 Express One Zone, они шифруются с помощью шифрования на стороне сервера с управляемыми ключами Amazon S3 (SSE-S3). Ключ KMS не поддерживается для Amazon S3 Express One Zone

Политика ключа KMS должна предоставлять разрешения IAM-роли, которую вы указали в своих запросах CreateTrainingJob, CreateTransformJob или CreateHyperParameterTuningJob. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в руководстве разработчика Amazon Web Services Key Management Service.

S3OutputPath -> (строка)

Указывает путь S3, где SageMaker должен сохранить артефакты модели. Например, s3://bucket-name/key-name-prefix.

CompressionType -> (строка)

Тип сжатия вывода модели. Выберите None для вывода несжатой модели, рекомендуется для больших выходных данных модели. По умолчанию используется gzip.

ResourceConfig -> (структура)

Ресурсы, включая вычислительные экземпляры и тома хранилища, которые следует использовать для обучающих заданий, запускаемых заданием настройки.

Тома хранилища хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать тома хранилища для временного пространства. Если вы хотите, чтобы SageMaker использовал том хранилища для хранения данных обучения, выберите File в качестве TrainingInputMode в спецификации алгоритма. Для распределенных алгоритмов обучения укажите количество экземпляров больше 1.

Примечание

Если вы хотите использовать оптимизацию гиперпараметров с гибкостью типа экземпляра, используйте HyperParameterTuningResourceConfig вместо этого.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

Примечание

Обучение SageMaker на экземплярах Amazon Elastic Compute Cloud (EC2) P4de находится на стадии предварительной версии с 9 декабря 2022 года.

Экземпляры Amazon EC2 P4de (в настоящее время на стадии предварительной версии) оснащены 8 графическими процессорами NVIDIA A100 с 80 ГБ высокопроизводительной оперативной памяти HBM2e GPU, что ускоряет процесс обучения ML-моделей, которые необходимо обучить на больших наборах данных с данными высокого разрешения. В этой предварительной версии Amazon SageMaker поддерживает задания обучения ML на экземплярах P4de (ml.p4de.24xlarge), чтобы сократить время обучения модели. Экземпляры ml.p4de.24xlarge доступны в следующих регионах Amazon Web Services.

US East (N. Virginia) (us-east-1)
US West (Oregon) (us-west-2)

Для увеличения квоты и начала использования экземпляров P4de обратитесь в службу поддержки SageMaker Training через свою команду аккаунта.

InstanceCount -> (целое число)

Количество вычислительных экземпляров ML для использования. Для распределенного обучения укажите значение больше 1.

VolumeSizeInGB -> (целое число)

Размер тома ML хранилища, который вы хотите предоставить.

Тома ML хранилища хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать том ML хранилища для временного пространства. Если вы хотите хранить данные обучения в томе ML хранилища, выберите File в качестве TrainingInputMode в спецификации алгоритма.

При использовании экземпляра ML с NVMe SSD-томами SageMaker не предоставляет хранилище Amazon EBS General Purpose SSD (gp2). Доступное хранилище фиксируется к емкости хранилища экземпляра типа NVMe. SageMaker настраивает пути хранилища для наборов данных обучения, контрольных точек, артефактов моделей и выходных данных, чтобы использовать всю емкость хранилища экземпляра. Например, семейства экземпляров ML с хранилищем экземпляра типа NVMe включают ml.p4d, ml.g4dn и ml.g5.

При использовании экземпляра ML с опцией хранилища только EBS и без хранилища экземпляра вы должны определить размер тома EBS с помощью VolumeSizeInGB в API ResourceConfig. Например, семейства экземпляров ML, использующие тома EBS, включают ml.c5 и ml.p2.

Чтобы узнать типы экземпляров и их типы хранилища экземпляров и томов, см. Типы экземпляров Amazon EC2.

Чтобы найти стандартные локальные пути, определенные платформой обучения SageMaker, см. Папки хранилища Amazon SageMaker для обучения наборов данных, контрольных точек, артефактов моделей и выходных данных.

VolumeKmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных на томе хранилища, подключенном к вычислительному экземпляру ML, на котором выполняется задание обучения.

Примечание

Некоторые экземпляры на основе Nitro включают локальное хранилище, зависящее от типа экземпляра. Тома локального хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляра, см. в разделе Тома локального хранилища.

Дополнительную информацию о шифровании локального хранилища экземпляра см. в разделе SSD-тома хранилища экземпляра.

VolumeKmsKeyId может быть в одном из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

KeepAlivePeriodInSeconds -> (целое число)

Срок хранения настроенных ресурсов в теплом пуле в секундах для последующих заданий обучения.

InstanceGroups -> (список)

Настройка гетерогенного кластера в формате JSON.

(структура)

Определяет группу экземпляров для обучения в гетерогенном кластере. При запросе задания обучения с использованием API CreateTrainingJob вы можете настроить несколько групп экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

InstanceCount -> (целое число)

Указывает количество экземпляров группы экземпляров.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

TrainingPlanArn -> (строка)

Имя ресурса (ARN) плана обучения для использования с этой конфигурацией ресурсов.

HyperParameterTuningResourceConfig -> (структура)

Настройка ресурсов для настройки гиперпараметров, включая вычислительные экземпляры и тома хранения, используемые для обучения задач, запускаемых задачей настройки. По умолчанию, тома хранения содержат артефакты модели и промежуточные состояния. Выберите File для TrainingInputMode в параметре AlgorithmSpecification, чтобы дополнительно сохранить обучающие данные в томе хранения (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для запуска задач настройки гиперпараметров. См. описания типов экземпляров для получения дополнительной информации.

InstanceCount -> (целое число)

Количество вычислительных экземпляров типа InstanceType для использования. Для распределенного обучения выберите значение больше 1.

VolumeSizeInGB -> (целое число)

Размер тома в ГБ для тома хранения, используемого в обработке задач оптимизации гиперпараметров (необязательно). Эти тома хранят артефакты моделей, промежуточные состояния и, необязательно, рабочую область для алгоритмов обучения. Не предоставляйте значение для этого параметра, если также указано значение для InstanceConfigs.

Некоторые типы экземпляров имеют фиксированный общий размер локального хранилища. Если вы выберете один из этих экземпляров для обучения, VolumeSizeInGB не может быть больше этого общего размера. Список типов экземпляров с локальным хранилищем экземпляров и их размерами см. в разделе instance store volumes.

Примечание

SageMaker поддерживает только тип тома хранения General Purpose SSD (gp2).

VolumeKmsKeyId -> (строка)

Ключ, используемый службой управления ключами Amazon Web Services для шифрования данных в томе хранения, подключенном к вычислительным экземплярам, используемым для запуска задачи обучения. Для указания ключа можно использовать любой из следующих форматов.

Идентификатор ключа KMS:

"1234abcd-12ab-34cd-56ef-1234567890ab"

Идентификатор ресурса Amazon (ARN) ключа KMS:

"arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

Некоторые экземпляры используют локальное хранилище, которое использует аппаратный модуль для шифрования томов хранения. Если вы выберете один из этих типов экземпляров, вы не можете запросить VolumeKmsKeyId. Список типов экземпляров, использующих локальное хранилище, см. в разделе instance store volumes. Дополнительную информацию о службе управления ключами Amazon Web Services см. в разделе Шифрование KMS для получения дополнительной информации.

AllocationStrategy -> (строка)

Стратегия, определяющая порядок предпочтения ресурсов, указанных в InstanceConfigs, используемых в оптимизации гиперпараметров.

InstanceConfigs -> (список)

Список, содержащий конфигурацию(и) для одного или нескольких ресурсов для обработки задач гиперпараметров. Эти ресурсы включают вычислительные экземпляры и тома хранения, которые будут использоваться в задачах обучения моделей, запускаемых задачами настройки гиперпараметров. AllocationStrategy управляет порядком, в котором используются несколько конфигураций, предоставленных в InstanceConfigs.

Примечание

Если вы хотите использовать только одну конфигурацию экземпляра внутри API HyperParameterTuningResourceConfig, не предоставляйте значение для InstanceConfigs. Вместо этого используйте InstanceType, VolumeSizeInGB и InstanceCount. Если вы используете InstanceConfigs, не предоставляйте значения для InstanceType, VolumeSizeInGB или InstanceCount.

(структура)

Конфигурация ресурсов настройки гиперпараметров для использования в задачах обучения, запускаемых задачей настройки. Эти ресурсы включают вычислительные экземпляры и тома хранения. Укажите одну или несколько конфигураций вычислительных экземпляров и стратегии распределения, чтобы выбрать ресурсы (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемого для обработки задач оптимизации гиперпараметров. Выберите из типов экземпляров общего назначения (без графических процессоров): ml.m5.xlarge, ml.m5.2xlarge и ml.m5.4xlarge или типов экземпляров с оптимизированным вычислением (без графических процессоров): ml.c5.xlarge и ml.c5.2xlarge. Дополнительную информацию о типах экземпляров см. в описаниях типов экземпляров.

InstanceCount -> (целое число)

Количество экземпляров типа, указанного в InstanceType. Для распределенных алгоритмов обучения выберите количество экземпляров больше 1. Дополнительную информацию см. в шаге 2: запуск задачи распределенного обучения SageMaker с использованием SageMaker Python SDK.

VolumeSizeInGB -> (целое число)

Размер тома данных в ГБ, подлежащих обработке для оптимизации гиперпараметров (необязательно).

StoppingCondition -> (структура)

Устанавливает ограничение на время выполнения задачи обучения модели гиперпараметров. Также устанавливает ограничение на время завершения управляемой задачи обучения с использованием спотовых ресурсов. Когда задача достигает лимита времени, SageMaker завершает задачу обучения. Используйте этот API для ограничения расходов на обучение моделей.

MaxRuntimeInSeconds -> (целое число)

Максимальное время в секундах, которое может выполняться задача обучения или компиляции, прежде чем она будет остановлена.

Для задач компиляции, если задача не завершится за это время, генерируется ошибка TimeOut. Рекомендуется начать с 900 секунд и увеличивать по мере необходимости в зависимости от вашей модели.

Для всех остальных задач, если задача не завершится за это время, SageMaker завершит задачу. При указании RetryStrategy в запросе к задаче, MaxRuntimeInSeconds задает максимальное время для всех попыток в целом, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение — 28 дней.

Максимальное время выполнения задачи TrainingJob в целом, включая время, затраченное на публикацию метрик или архивирование и загрузку моделей после остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время в секундах, в течение которого управляемая задача обучения с использованием спотовых ресурсов должна завершиться. Это время, затраченное на ожидание спотового ресурса плюс время, которое может выполняться задача. Оно должно быть равно или больше MaxRuntimeInSeconds. Если задача не завершится за это время, SageMaker завершит задачу.

При указании RetryStrategy в запросе к задаче, MaxWaitTimeInSeconds задает максимальное время для всех попыток в целом, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальное время в секундах, в течение которого задача обучения или компиляции может находиться в состоянии ожидания, прежде чем она будет остановлена.

Примечание

При работе с задачами обучения, использующими ресурсы из планов обучения, не все состояния задач Pending учитываются в лимите MaxPendingTimeInSeconds. Следующие сценарии не увеличивают счетчик MaxPendingTimeInSeconds:

План находится в состоянии Scheduled: Задачи, поставленные в очередь (в состоянии Pending) до даты начала плана (ожидание запланированного времени начала)
Между резервациями ресурсов: Задачи временно возвращены в состояние Pending между двумя периодами резервирования ресурсов

MaxPendingTimeInSeconds увеличивается только тогда, когда задачи активно ожидают ресурсов в плане Active.

EnableNetworkIsolation -> (булево)

Изолирует контейнер обучения. Нельзя выполнять входные или выходные сетевые вызовы, кроме вызовов между узлами в кластере обучения для распределенного обучения. Если используется изоляция сети для задач обучения, настроенных для использования VPC, SageMaker загружает и загружает данные и артефакты моделей клиента через указанный VPC, но у контейнера обучения нет сетевого доступа.

EnableInterContainerTrafficEncryption -> (булево)

Для шифрования всех коммуникаций между экземплярами вычислительных ресурсов ML в распределенном обучении выберите True. Шифрование обеспечивает большую безопасность для распределенного обучения, но обучение может занять больше времени. Время зависит от объема коммуникаций между вычислительными экземплярами, особенно если вы используете алгоритм глубокого обучения в распределенном обучении.

EnableManagedSpotTraining -> (булево)

Булево значение, указывающее, включено ли управляемое обучение с использованием спотовых ресурсов (True) или нет (False).

CheckpointConfig -> (структура)

Содержит информацию о местоположении вывода данных контрольных точек для управляемого обучения с использованием спотовых ресурсов.

S3Uri -> (строка)

Указывает путь к S3, где SageMaker должен хранить контрольные точки. Например, s3://bucket-name/key-name-prefix.

LocalPath -> (строка)

(Необязательно) Местный каталог, в котором записываются контрольные точки. Каталог по умолчанию — /opt/ml/checkpoints/.

RetryStrategy -> (структура)

Количество попыток повтора задачи при сбое задачи из-за InternalServerError.

MaximumRetryAttempts -> (целое число)

Количество попыток повтора задачи. При повторном выполнении задачи ее SecondaryStatus изменяется на STARTING.

Environment -> (словарь)

Переменная среды, которую можно передать в API SageMaker CreateTrainingJob. Можно использовать существующую переменную среды из контейнера обучения или использовать собственную. Дополнительную информацию см. в разделе Определение метрик и переменных.

Примечание

Максимальное количество элементов, указанных для Map Entries, относится к максимальному количеству переменных среды для каждой TrainingJobDefinition, а также к максимальному количеству для самой задачи настройки гиперпараметров. То есть сумма количества переменных среды для всех определений задач обучения не должна превышать максимального указанного значения.

key -> (строка)

value -> (строка)

TrainingJobDefinitions -> (список)

Список объектов HyperParameterTrainingJobDefinition, запущенных для этой задачи настройки гиперпараметров.

(структура)

Определяет задачи обучения, запущенные задачей настройки гиперпараметров.

DefinitionName -> (строка)

Имя определения задачи.

TuningObjective -> (структура)

Определяет целевой метрический показатель для задачи настройки гиперпараметров. Настройка гиперпараметров использует значение этого показателя для оценки задач обучения, которые она запускает, и возвращает задачу обучения, которая приводит к самому высокому или самому низкому значению этого показателя в зависимости от значения, которое вы укажете для параметра Type. Если вы хотите определить пользовательский целевой метрический показатель, см. Определение метрик и переменных среды .

Type -> (строка)

Минимизировать или максимизировать целевой метрический показатель.

MetricName -> (строка)

Имя метрики, используемой для целевого метрического показателя.

HyperParameterRanges -> (структура)

Указывает диапазоны целочисленных, непрерывных и категориальных гиперпараметров, которые ищет задача настройки гиперпараметров. Задача настройки гиперпараметров запускает задачи обучения с значениями гиперпараметров в этих диапазонах, чтобы найти комбинацию значений, которая приводит к задаче обучения с лучшей производительностью, измеряемой целевым метрическим показателем задачи настройки гиперпараметров.

Примечание

Максимальное количество элементов, указанных для Array Members, относится к максимальному количеству гиперпараметров для каждого диапазона, а также к максимальному количеству для самой задачи настройки гиперпараметров. То есть, сумма количества гиперпараметров для всех диапазонов не должна превышать максимальное указанное количество.

IntegerParameterRanges -> (список)

Массив объектов IntegerParameterRange, которые задают диапазоны целочисленных гиперпараметров, которые ищет задача настройки гиперпараметров.

(структура)

Для гиперпараметра целочисленного типа указывает диапазон, который ищет задача настройки гиперпараметров.

Name -> (строка)

Имя гиперпараметра для поиска.

MinValue -> (строка)

Минимальное значение гиперпараметра для поиска.

MaxValue -> (строка)

Максимальное значение гиперпараметра для поиска.

ScalingType -> (строка)

Масштаб, который использует настройка гиперпараметров для поиска диапазона гиперпараметров. Сведения о выборе масштаба гиперпараметра см. в разделе Масштабирование гиперпараметров . Одно из следующих значений:

Auto

Настройка гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров с использованием линейного масштаба.

Logarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров с использованием логарифмического масштаба.

Логарифмическое масштабирование работает только для диапазонов, содержащих только значения, большие нуля.

ContinuousParameterRanges -> (список)

Массив объектов ContinuousParameterRange, которые задают диапазоны непрерывных гиперпараметров, которые ищет задача настройки гиперпараметров.

(структура)

Список непрерывных гиперпараметров для настройки.

Name -> (строка)

Имя непрерывного гиперпараметра для настройки.

MinValue -> (строка)

Минимальное значение гиперпараметра. Задача настройки использует значения с плавающей запятой между этим значением и MaxValue для настройки.

MaxValue -> (строка)

Максимальное значение гиперпараметра. Задача настройки использует значения с плавающей запятой между значением MinValue и этим значением для настройки.

ScalingType -> (строка)

Auto

Настройка гиперпараметров SageMaker выбирает лучший масштаб для гиперпараметра.

Linear

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров с использованием линейного масштаба.

Logarithmic

ReverseLogarithmic

Настройка гиперпараметров ищет значения в диапазоне гиперпараметров с использованием обратного логарифмического масштаба.

Обратное логарифмическое масштабирование работает только для диапазонов, полностью расположенных в диапазоне 0<=x<1.0.

CategoricalParameterRanges -> (список)

Массив объектов CategoricalParameterRange, которые задают диапазоны категориальных гиперпараметров, которые ищет задача настройки гиперпараметров.

(структура)

Список категориальных гиперпараметров для настройки.

Name -> (строка)

Имя категориального гиперпараметра для настройки.

Values -> (список)

Список категорий для гиперпараметра.

(строка)

AutoParameters -> (список)

Список, содержащий имена гиперпараметров и примеры значений, которые будут использоваться Autotune для определения оптимальных диапазонов для вашей задачи настройки.

(структура)

Имя и пример значения гиперпараметра, который вы хотите использовать в Autotune. Если автоматическая настройка модели (AMT) определит, что ваш гиперпараметр подходит для Autotune, для вас будет выбран оптимальный диапазон гиперпараметров.

Name -> (строка)

Имя гиперпараметра для оптимизации с помощью Autotune.

ValueHint -> (строка)

Пример значения гиперпараметра для оптимизации с помощью Autotune.

StaticHyperParameters -> (карта)

Указывает значения гиперпараметров, которые не изменяются для задачи настройки.

key -> (строка)

value -> (строка)

AlgorithmSpecification -> (структура)

Объект HyperParameterAlgorithmSpecification, который указывает алгоритм ресурсов, который нужно использовать для задач обучения, которые запускает задача настройки.

TrainingImage -> (строка)

Путь к реестру образа Docker, который содержит алгоритм обучения. Сведения о путях к реестру Docker для встроенных алгоритмов см. в разделе Алгоритмы, предоставляемые Amazon SageMaker: Общие параметры . SageMaker поддерживает как registry/repository[:tag], так и registry/repository[@digest] форматы путей изображений. Дополнительные сведения см. в разделе Использование собственных алгоритмов с Amazon SageMaker .

TrainingInputMode -> (строка)

Режим ввода обучения, поддерживаемый алгоритмом. Дополнительные сведения о режимах ввода см. в разделе Алгоритмы .

Режим трубы

Если алгоритм поддерживает режим Pipe, Amazon SageMaker передает данные напрямую из Amazon S3 в контейнер.

Режим файла

Если алгоритм поддерживает режим File, SageMaker загружает данные обучения из S3 в выделенный том памяти для ML и монтирует каталог в том памяти Docker для контейнера обучения.

Вы должны выделить том памяти ML с достаточной емкостью для размещения данных, загруженных из S3. Помимо данных обучения, том памяти ML также хранит выходную модель. Контейнер алгоритма также использует том памяти ML для хранения промежуточной информации, если таковая имеется.

Для распределенных алгоритмов данные обучения распределяются равномерно. Продолжительность обучения предсказуема, если размеры объектов входных данных примерно одинаковы. SageMaker не разбивает файлы дополнительно для обучения модели. Если размеры объектов распределены неравномерно, обучение будет не оптимальным, поскольку распределение данных также неравномерно, когда один хост в кластере обучения перегружен, становясь узким местом при обучении.

Режим FastFile

Если алгоритм поддерживает режим FastFile, SageMaker передает данные напрямую из S3 в контейнер без изменений кода и предоставляет доступ к файловой системе к данным. Пользователи могут настроить свой скрипт обучения для взаимодействия с этими файлами так, как будто они хранятся на диске.

Режим FastFile работает лучше, когда данные читаются последовательно. Дополнительные манифестные файлы не поддерживаются. Время запуска ниже, когда в ведре S3 меньше файлов.

AlgorithmName -> (строка)

Имя алгоритма ресурсов для использования в задаче настройки гиперпараметров. Если вы укажете значение для этого параметра, не указывайте значение для TrainingImage.

MetricDefinitions -> (список)

Массив объектов MetricDefinition, которые определяют метрики, которые выводит алгоритм.

(структура)

Указывает метрику, которую алгоритм обучения записывает в stderr или stdout . Вы можете просмотреть эти журналы, чтобы понять производительность вашей задачи обучения и проверить наличие ошибок, возникших во время обучения. SageMaker гиперпараметр настройки захватывает все определенные метрики. Укажите одну из определенных метрик для использования в качестве целевой метрики с помощью параметра TuningObjective в API HyperParameterTrainingJobDefinition для оценки производительности задач во время настройки гиперпараметров.

Name -> (строка)

Имя метрики.

Regex -> (строка)

Регулярное выражение, которое ищет выходную информацию задачи обучения и получает значение метрики. Дополнительные сведения об использовании регулярных выражений для определения метрик см. в разделе Определение метрик и переменных среды.

RoleArn -> (строка)

Идентификатор ресурса Amazon (ARN) роли IAM, связанной с задачами обучения, которые запускает задача настройки.

InputDataConfig -> (список)

Массив объектов Channel, определяющих входные данные для обучающих задач, которые запускает задача настройки.

(структура)

Канал — это именованный источник ввода, который могут использовать алгоритмы обучения.

ChannelName -> (строка)

Имя канала.

DataSource -> (структура)

Расположение данных канала.

S3DataSource -> (структура)

Расположение данных источника S3, связанного с каналом.

S3DataType -> (строка)

Если вы выберите S3Prefix, S3Uri определяет префикс имени ключа. SageMaker использует все объекты, соответствующие указанному префиксу имени ключа, для обучения модели.

Если вы выберите ManifestFile, S3Uri определяет объект, который является файлом-манифестом, содержащим список ключей объектов, которые вы хотите использовать SageMaker для обучения модели.

Если вы выберите AugmentedManifestFile, S3Uri определяет объект, который является расширенным манифестом в формате JSON-строк. Этот файл содержит данные, которые вы хотите использовать для обучения модели. AugmentedManifestFile может быть использован только в том случае, если режим ввода канала — Pipe.

S3Uri -> (строка)

В зависимости от значения, указанного для S3DataType, определяет либо префикс имени ключа, либо манифест. Например:

Префикс имени ключа может выглядеть так: s3://bucketname/exampleprefix/
Манифест может выглядеть так: s3://bucketname/example.manifest Манифест — это объект S3, представляющий собой JSON-файл, состоящий из массива элементов. Первый элемент — это префикс, за которым следуют один или несколько суффиксов. SageMaker добавляет суффиксные элементы к префиксу, чтобы получить полный набор S3Uri. Обратите внимание, что префикс должен быть допустимым ненулевым S3Uri, что не позволяет пользователям указывать манифест, чьи отдельные S3Uri взяты из разных ведер S3. Следующий пример кода демонстрирует допустимый формат манифеста: [ {"prefix": "s3://customer_bucket/some/prefix/"}, "relative/path/to/custdata-1", "relative/path/custdata-2", ... "relative/path/custdata-N" ] Этот JSON эквивалентен следующему списку S3Uri: s3://customer_bucket/some/prefix/relative/path/to/custdata-1 s3://customer_bucket/some/prefix/relative/path/custdata-2 ... s3://customer_bucket/some/prefix/relative/path/custdata-N Полный набор S3Uri в этом манифесте является входными данными для канала для этого источника данных. Объект, на который указывает каждый S3Uri, должен быть доступен для роли IAM, которую SageMaker использует для выполнения задач от вашего имени.

Ваше ведро ввода должно находиться в той же области Amazon Web Services, что и ваша обучающая задача.

S3DataDistributionType -> (строка)

Если вы хотите, чтобы SageMaker дублировал весь набор данных на каждом экземпляре вычислительных ресурсов ML, запускаемом для обучения модели, укажите FullyReplicated.

Если вы хотите, чтобы SageMaker дублировал подмножество данных на каждом экземпляре вычислительных ресурсов ML, запускаемом для обучения модели, укажите ShardedByS3Key. Если для обучающей задачи запущено n экземпляров вычислительных ресурсов ML, каждый экземпляр получит приблизительно 1/n от количества объектов S3. В этом случае обучение модели на каждой машине использует только подмножество обучающих данных.

Не выбирайте больше экземпляров вычислительных ресурсов ML для обучения, чем доступных объектов S3. В противном случае некоторые узлы не получат данные, и вы будете платить за узлы, которые не получают обучающих данных. Это относится как к режиму File, так и к режиму Pipe. Имейте это в виду при разработке алгоритмов.

В распределенном обучении, где вы используете несколько экземпляров EC2 вычислительных ресурсов ML, вы можете выбрать ShardedByS3Key. Если алгоритм требует копирования обучающих данных на том вычислительный объем ML (когда TrainingInputMode установлено в File), то копируется 1/n от количества объектов.

AttributeNames -> (список)

Список одного или нескольких имен атрибутов для использования, которые находятся в указанном расширенном файле-манифесте.

(строка)

InstanceGroupNames -> (список)

Список имен групп экземпляров, которые получают данные из источника данных S3.

(строка)

ModelAccessConfig -> (структура)

Файл конфигурации доступа к ML-модели. Вы можете явно принять лицензионное соглашение конечного пользователя (EULA) модели в ModelAccessConfig.

Если вы являетесь пользователем Jumpstart, см. раздел Лицензионные соглашения конечного пользователя для получения дополнительной информации о принятии EULA.
Если вы являетесь пользователем AutoML, см. раздел Дополнительные параметры в разделе Создание задачи AutoML для дообучения моделей генерации текста с помощью API для получения подробностей о том, как установить принятие EULA при дообучении модели с помощью API AutoML.

AcceptEula -> (булево)

Указывает согласие на лицензионное соглашение конечного пользователя (EULA) модели. Значение AcceptEula должно быть явно определено как True для принятия EULA, требуемого этой моделью. Вы несете ответственность за проверку и соблюдение любых применимых лицензионных условий и убедитесь, что они приемлемы для вашего случая использования перед загрузкой или использованием модели.

HubAccessConfig -> (структура)

Настройка для ссылки на частную модель хаба, которая указывает на общедоступную модель хаба SageMaker JumpStart.

HubContentArn -> (строка)

ARN вашего контента частной модели хаба. Это должен быть ресурс типа ModelReference, указывающий на общедоступную модель хаба SageMaker JumpStart.

FileSystemDataSource -> (структура)

Файловая система, связанная с каналом.

FileSystemId -> (строка)

Идентификатор файловой системы.

FileSystemAccessMode -> (строка)

Режим доступа к монтируемому каталогу, связанному с каналом. Каталог может быть смонтирован в режиме ro (только чтение) или режиме rw (чтение/запись).

FileSystemType -> (строка)

Тип файловой системы.

DirectoryPath -> (строка)

Полный путь к каталогу, который следует связать с каналом.

ContentType -> (строка)

Тип MIME данных.

CompressionType -> (строка)

Если обучающие данные сжаты, тип сжатия. Значение по умолчанию — None. CompressionType используется только в режиме ввода Pipe. В режиме File оставьте это поле пустым или установите значение None.

RecordWrapperType -> (строка)

Укажите RecordIO как значение, когда входные данные находятся в сыром формате, но алгоритм обучения требует формата RecordIO. В этом случае SageMaker оборачивает каждый отдельный объект S3 в запись RecordIO. Если входные данные уже в формате RecordIO, вам не нужно устанавливать этот атрибут. Дополнительные сведения см. в разделе Create a Dataset Using RecordIO.

В режиме File оставьте это поле пустым или установите значение None.

InputMode -> (строка)

(Необязательно) Режим ввода для канала данных в задаче обучения. Если вы не зададите значение для InputMode, SageMaker использует значение, заданное для TrainingInputMode. Используйте этот параметр для переопределения настройки TrainingInputMode в запросе AlgorithmSpecification, когда у вас есть канал, которому нужен другой режим ввода, чем общий режим задачи обучения. Чтобы загрузить данные из Amazon Simple Storage Service (Amazon S3) на предоставленный том памяти ML и смонтировать каталог в объем Docker, используйте режим ввода File. Чтобы передавать данные напрямую из Amazon S3 в контейнер, выберите режим ввода Pipe.

Для использования модели для инкрементного обучения выберите режим ввода File.

ShuffleConfig -> (структура)

Настройка для параметра перемешивания для входных данных в канале. Если вы используете S3Prefix для S3DataType, это перемешивает результаты совпадений префикса ключа S3. Если вы используете ManifestFile, порядок ссылок на объекты S3 в ManifestFile перемешивается. Если вы используете AugmentedManifestFile, порядок JSON-строк в AugmentedManifestFile перемешивается. Порядок перемешивания определяется значением Seed.

Для режима Pipe перемешивание выполняется в начале каждой эпохи. При больших наборах данных это гарантирует, что порядок обучающих данных отличается для каждой эпохи, помогает уменьшить смещение и возможное переобучение. В многоузловой обучающей задаче при совместном использовании ShuffleConfig и S3DataDistributionType из ShardedByS3Key данные перемешиваются между узлами, так что содержимое, отправленное на определенный узел в первой эпохе, может быть отправлено на другой узел во второй эпохе.

Seed -> (целое)

Определяет порядок перемешивания в значении ShuffleConfig.

VpcConfig -> (структура)

Объект VpcConfig, который определяет VPC, к которому должны подключаться задачи обучения, запускаемые этой задачей настройки гиперпараметров. Управление доступом к вашему контейнеру обучения осуществляется путем настройки VPC. Дополнительные сведения см. в разделе Protect Training Jobs by Using an Amazon Virtual Private Cloud.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою задачу обучения или модель. Сведения о доступности определенных типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

OutputDataConfig -> (структура)

Указывает путь к ведру Amazon S3, где хранятся артефакты моделей из обучающих заданий, которые запускает задание настройки.

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования артефактов моделей в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может быть в одном из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения на вызов kms:Encrypt. Если вы не укажете идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. Дополнительную информацию см. в разделе KMS-управляемые ключи шифрования в руководстве разработчика Amazon Simple Storage Service. Если выходные данные хранятся в Amazon S3 Express One Zone, они шифруются с помощью шифрования на стороне сервера с управляемыми Amazon S3 ключами (SSE-S3). Ключ KMS не поддерживается для Amazon S3 Express One Zone

Политика ключа KMS должна предоставлять разрешение учетной записи IAM, которую вы указали в запросах CreateTrainingJob, CreateTransformJob или CreateHyperParameterTuningJob. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в руководстве разработчика Amazon Web Services Key Management Service.

S3OutputPath -> (строка)

Определяет путь S3, куда SageMaker должен сохранить артефакты модели. Например, s3://bucket-name/key-name-prefix.

CompressionType -> (строка)

Тип сжатия выходных данных модели. Выберите None для вывода несжатой модели, что рекомендуется для больших выходных данных модели. По умолчанию используется gzip.

ResourceConfig -> (структура)

Ресурсы, включая вычислительные экземпляры и тома хранения, которые необходимо использовать для обучающих заданий, запускаемых заданием настройки.

Тома хранения содержат артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать тома хранения для временного пространства. Если вы хотите, чтобы SageMaker использовал том хранения для хранения обучающих данных, выберите File в качестве TrainingInputMode в спецификации алгоритма. Для распределенных алгоритмов обучения укажите количество экземпляров больше 1.

Примечание

Если вы хотите использовать настройку гиперпараметров с гибким типом экземпляра, используйте HyperParameterTuningResourceConfig.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

Примечание

Обучение SageMaker на экземплярах Amazon Elastic Compute Cloud (EC2) P4de находится в стадии предварительной версии, начиная с 9 декабря 2022 года.

Экземпляры Amazon EC2 P4de (в настоящее время в предварительной версии) оснащены 8 графическими процессорами NVIDIA A100 с 80 ГБ высокопроизводительной памяти HBM2e, что ускоряет процесс обучения моделей ML, которые необходимо обучать на больших наборах данных с данными высокого разрешения. В этой предварительной версии Amazon SageMaker поддерживает задания обучения ML на экземплярах P4de (ml.p4de.24xlarge), чтобы сократить время обучения модели. Экземпляры ml.p4de.24xlarge доступны в следующих регионах Amazon Web Services.

США-Восток (Северная Вирджиния) (us-east-1)
США-Запад (Орегон) (us-west-2)

Для увеличения лимита квот и начала использования экземпляров P4de обратитесь в службу поддержки SageMaker Training через вашу команду по работе с клиентами.

InstanceCount -> (целое число)

VolumeSizeInGB -> (целое число)

Размер тома хранения ML, который вы хотите зарезервировать.

Тома хранения ML хранят артефакты моделей и промежуточные состояния. Алгоритмы обучения также могут использовать том хранения ML для временного пространства. Если вы хотите хранить обучающие данные в томе хранения ML, выберите File в качестве TrainingInputMode в спецификации алгоритма.

При использовании экземпляра ML с томами NVMe SSD SageMaker не резервирует хранилище Amazon EBS General Purpose SSD (gp2). Доступное хранилище фиксируется к объему памяти экземпляра типа NVMe. SageMaker настраивает пути хранилища для обучающих наборов данных, контрольных точек, артефактов модели и выходных данных, чтобы использовать весь объем памяти хранилища экземпляра. Например, семейства экземпляров ML с хранилищем экземпляра типа NVMe включают ml.p4d, ml.g4dn и ml.g5.

При использовании экземпляра ML с вариантом хранения только EBS и без хранилища экземпляра вы должны определить размер тома EBS через VolumeSizeInGB в API ResourceConfig. Например, семейства экземпляров ML, которые используют тома EBS, включают ml.c5 и ml.p2.

Для поиска типов экземпляров и их типов хранилища экземпляров и томов см. Типы экземпляров Amazon EC2.

Чтобы найти стандартные локальные пути, определенные платформой обучения SageMaker, см. Папки хранилища Amazon SageMaker Training для обучающих наборов данных, контрольных точек, артефактов модели и выходных данных.

VolumeKmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных на томе хранения, подключенном к вычислительному экземпляру ML, на котором выполняется задание обучения.

Примечание

Некоторые экземпляры на базе Nitro включают локальное хранилище, в зависимости от типа экземпляра. Локальные тома хранилища шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить VolumeKmsKeyId при использовании типа экземпляра с локальным хранилищем.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляра, см. в Тома хранилища экземпляра.

Дополнительную информацию о шифровании локального хранилища экземпляра см. в Тома хранилища экземпляров SSD.

VolumeKmsKeyId может быть в одном из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

KeepAlivePeriodInSeconds -> (целое число)

Продолжительность времени в секундах для сохранения настроенных ресурсов в пуле тепла для последующих заданий обучения.

InstanceGroups -> (список)

Конфигурация гетерогенного кластера в формате JSON.

(структура)

Определяет группу экземпляров для обучения гетерогенного кластера. При запросе задания обучения с использованием API CreateTrainingJob вы можете настроить несколько групп экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

InstanceCount -> (целое число)

Указывает количество экземпляров группы экземпляров.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

TrainingPlanArn -> (строка)

Имя ресурса (ARN) плана обучения для использования с этой конфигурацией ресурсов.

HyperParameterTuningResourceConfig -> (структура)

Настройка ресурсов для настройки гиперпараметров, включая вычислительные экземпляры и тома хранения, используемые для запуска обучающих задач, запущенных задачей настройки. По умолчанию, тома хранения содержат артефакты модели и промежуточные состояния. Выберите File для TrainingInputMode в параметре AlgorithmSpecification, чтобы дополнительно сохранить данные обучения в томе хранения (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемый для запуска задач настройки оптимизации гиперпараметров. Для получения дополнительной информации см. описания типов экземпляров.

InstanceCount -> (целое число)

Количество вычислительных экземпляров типа InstanceType для использования. Для распределенного обучения выберите значение, большее 1.

VolumeSizeInGB -> (целое число)

Размер тома в ГБ для тома хранения, используемого в обработке задач оптимизации гиперпараметров (необязательно). Эти тома хранят артефакты модели, промежуточные состояния и, необязательно, рабочее пространство для обучающих алгоритмов. Не указывайте значение для этого параметра, если также указано значение для InstanceConfigs.

Некоторые типы экземпляров имеют фиксированный общий размер локального хранилища. Если вы выберете один из этих экземпляров для обучения, VolumeSizeInGB не может быть больше этого общего размера. Список типов экземпляров с локальным хранилищем экземпляра и их размерами см. в томах локального хранилища экземпляров.

Примечание

SageMaker поддерживает только тип тома хранения General Purpose SSD (gp2).

VolumeKmsKeyId -> (строка)

Ключ, используемый службой управления ключами Amazon Web Services для шифрования данных на томе хранения, подключенном к вычислительным экземплярам, используемым для запуска обучающей задачи. Для указания ключа можно использовать любой из следующих форматов.

Идентификатор ключа KMS:

"1234abcd-12ab-34cd-56ef-1234567890ab"

Идентификатор ресурса Amazon (ARN) ключа KMS:

"arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"

Некоторые экземпляры используют локальное хранилище, которое использует аппаратный модуль для шифрования томов хранения. Если вы выбираете один из этих типов экземпляров, вы не можете запросить VolumeKmsKeyId. Список типов экземпляров, использующих локальное хранилище, см. в томах локального хранилища экземпляров. Дополнительную информацию о службе управления ключами Amazon Web Services см. в KMS шифровании.

AllocationStrategy -> (строка)

InstanceConfigs -> (список)

Список, содержащий конфигурацию(и) для одного или нескольких ресурсов для обработки задач настройки гиперпараметров. Эти ресурсы включают вычислительные экземпляры и тома хранения, которые следует использовать в задачах обучения моделей, запущенных задачами настройки гиперпараметров. AllocationStrategy управляет порядком использования нескольких конфигураций, предоставленных в InstanceConfigs.

Примечание

Если вы хотите использовать только одну конфигурацию экземпляра внутри API HyperParameterTuningResourceConfig, не указывайте значение для InstanceConfigs. Вместо этого используйте InstanceType, VolumeSizeInGB и InstanceCount. Если вы используете InstanceConfigs, не указывайте значения для InstanceType, VolumeSizeInGB или InstanceCount.

(структура)

Настройка ресурсов для настройки гиперпараметров для использования в обучающих задачах, запущенных задачей настройки. Эти ресурсы включают вычислительные экземпляры и тома хранения. Укажите одну или несколько конфигураций вычислительных экземпляров и стратегии распределения для выбора ресурсов (необязательно).

InstanceType -> (строка)

Тип экземпляра, используемый для обработки задач оптимизации гиперпараметров. Выбирайте из типов экземпляров общего назначения (без графических процессоров): ml.m5.xlarge, ml.m5.2xlarge и ml.m5.4xlarge или типов экземпляров с оптимизированной производительностью (без графических процессоров): ml.c5.xlarge и ml.c5.2xlarge. Дополнительную информацию о типах экземпляров см. в описаниях типов экземпляров.

InstanceCount -> (целое число)

Количество экземпляров типа, указанного в InstanceType. Выберите количество экземпляров, большее 1, для распределенных алгоритмов обучения. Дополнительную информацию см. в шаге 2: запуск задачи распределенного обучения SageMaker с помощью SageMaker Python SDK.

VolumeSizeInGB -> (целое число)

Размер тома в ГБ обрабатываемых данных для оптимизации гиперпараметров (необязательно).

StoppingCondition -> (структура)

Устанавливает лимит времени выполнения задачи обучения модели гиперпараметров. Также определяет время, которое требуется для завершения управляемой задачи обучения на выделенных ресурсах. Когда задача достигает лимита времени, SageMaker завершает задачу обучения. Используйте этот API для ограничения затрат на обучение модели.

MaxRuntimeInSeconds -> (целое число)

Для задач компиляции, если задача не завершится в течение этого времени, генерируется ошибка TimeOut. Рекомендуется начинать с 900 секунд и увеличивать по мере необходимости, исходя из вашей модели.

Для всех остальных задач, если задача не завершится в течение этого времени, SageMaker завершит задачу. Если RetryStrategy указан в запросе задачи, MaxRuntimeInSeconds определяет максимальное время для всех попыток в целом, а не для каждой отдельной попытки. Значение по умолчанию составляет 1 день. Максимальное значение составляет 28 дней.

Максимальное время, которое может выполняться TrainingJob в целом, включая время, затраченное на публикацию метрик или архивирование и загрузку моделей после ее остановки, составляет 30 дней.

MaxWaitTimeInSeconds -> (целое число)

Максимальное время в секундах, которое требуется для завершения управляемой задачи обучения на выделенных ресурсах. Это время, потраченное на ожидание выделенных ресурсов, плюс время, которое может выполняться задача. Оно должно быть равно или больше MaxRuntimeInSeconds. Если задача не завершится в течение этого времени, SageMaker завершит задачу.

Если RetryStrategy указан в запросе задачи, MaxWaitTimeInSeconds определяет максимальное время для всех попыток в целом, а не для каждой отдельной попытки.

MaxPendingTimeInSeconds -> (целое число)

Максимальное время в секундах, которое задача обучения или компиляции может находиться в состоянии ожидания, прежде чем она будет остановлена.

Примечание

При работе с обучающими задачами, использующими емкость из планов обучения, не все Pending состояния задач учитываются в лимите MaxPendingTimeInSeconds. Следующие сценарии не увеличивают счетчик MaxPendingTimeInSeconds:

План находится в состоянии Scheduled: Задачи в очереди (в статусе Pending) до даты начала плана (ожидание запланированного времени начала)
Между резервациями емкости: Задачи временно возвращаются в состояние Pending между двумя периодами резервирования емкости

MaxPendingTimeInSeconds увеличивается только тогда, когда задачи активно ожидают емкости в плане Active.

EnableNetworkIsolation -> (булево)

Изолирует контейнер обучения. Не допускаются входящие или исходящие сетевые вызовы, за исключением вызовов между peer-компонентами внутри кластера обучения для распределенного обучения. Если изоляция сети используется для обучающих задач, настроенных для использования VPC, SageMaker загружает и загружает данные клиента и артефакты моделей через указанный VPC, но контейнер обучения не имеет сетевого доступа.

EnableInterContainerTrafficEncryption -> (булево)

Для шифрования всех коммуникаций между вычислительными экземплярами ML в распределенном обучении выберите True. Шифрование обеспечивает большую безопасность для распределенного обучения, но обучение может занять больше времени. Длительность зависит от объема обмена данными между вычислительными экземплярами, особенно если вы используете алгоритм глубокого обучения в распределенном обучении.

EnableManagedSpotTraining -> (булево)

Булевое значение, указывающее, включено ли управляемое обучение на выделенных ресурсах (True) или нет (False).

CheckpointConfig -> (структура)

Содержит информацию о местоположении выходных данных для данных контрольных точек управляемого обучения на выделенных ресурсах.

S3Uri -> (строка)

Определяет путь S3, куда SageMaker должен сохранять контрольные точки. Например, s3://bucket-name/key-name-prefix.

LocalPath -> (строка)

(Необязательно) Локальный каталог, в котором сохраняются контрольные точки. Каталог по умолчанию - /opt/ml/checkpoints/.

RetryStrategy -> (структура)

Количество попыток повторного запуска задачи, когда задача завершается неудачно из-за InternalServerError.

MaximumRetryAttempts -> (целое число)

Количество попыток повторного запуска задачи. При повторном запуске задачи её SecondaryStatus меняется на STARTING.

Environment -> (отображение)

Переменная среды, которую можно передать в API SageMaker CreateTrainingJob. Можно использовать существующую переменную среды из контейнера обучения или свою собственную. Для получения дополнительной информации см. Определение метрик и переменных.

Примечание

Максимальное количество элементов, указанных для Map Entries, относится к максимальному количеству переменных среды для каждого TrainingJobDefinition, а также к максимальному значению для самой задачи настройки гиперпараметров. То есть сумма количества переменных среды для всех определений задач обучения не может превышать указанное максимальное число.

key -> (строка)

value -> (строка)

HyperParameterTuningJobStatus -> (строка)

Статус задачи настройки.

CreationTime -> (временная метка)

Дата и время начала задачи настройки.

HyperParameterTuningEndTime -> (временная метка)

Дата и время завершения задачи настройки.

LastModifiedTime -> (временная метка)

Дата и время изменения статуса задачи настройки.

TrainingJobStatusCounters -> (структура)

Объект TrainingJobStatusCounters, который указывает количество задач обучения, сгруппированных по статусу, запущенных этой задачей настройки.

Completed -> (целое число)

Количество завершенных обучающих задач, запущенных задачей настройки гиперпараметров.

InProgress -> (целое число)

Количество обучающих задач в процессе, запущенных задачей настройки гиперпараметров.

RetryableError -> (целое число)

Количество задач обучения, которые завершились неудачно, но могут быть повторно запущены. Неудачная задача обучения может быть повторно запущена только в том случае, если она завершилась неудачно из-за ошибки внутренней службы.

NonRetryableError -> (целое число)

Количество задач обучения, которые завершились неудачно и не могут быть повторно запущены. Неудачная задача обучения не может быть повторно запущена, если она завершилась неудачно из-за ошибки клиента.

Stopped -> (целое число)

Количество задач обучения, запущенных задачей настройки гиперпараметров, которые были остановлены вручную.

ObjectiveStatusCounters -> (структура)

Объект ObjectiveStatusCounters, указывающий количество задач обучения, разбитых по статусу их конечной метрики цели, запущенных этой задачей настройки.

Succeeded -> (целое)

Количество задач обучения, конечная метрика цели которых была оценена задачей настройки гиперпараметров и использована в процессе настройки гиперпараметров.

Pending -> (целое)

Количество задач обучения, которые выполняются и ожидают оценки их конечной метрики цели.

Failed -> (целое)

Количество задач обучения, конечная метрика цели которых не была оценена и использована в процессе настройки гиперпараметров. Это обычно происходит, когда задача обучения завершилась неудачно или не сгенерировала метрику цели.

BestTrainingJob -> (структура)

Объект TrainingJobSummary, описывающий задачу обучения, завершившуюся с лучшим текущим значением HyperParameterTuningJobObjective.

TrainingJobDefinitionName -> (строка)

Имя определения задачи обучения.

TrainingJobName -> (строка)

Имя задачи обучения.

TrainingJobArn -> (строка)

Amazon Resource Name (ARN) задачи обучения.

TuningJobName -> (строка)

Задача настройки гиперпараметров, запустившая задачу обучения.

CreationTime -> (временная метка)

Дата и время создания задачи обучения.

TrainingStartTime -> (временная метка)

Дата и время начала задачи обучения.

TrainingEndTime -> (временная метка)

Указывает время завершения задачи обучения на экземплярах обучения. Вы оплачиваете интервал времени между значением TrainingStartTime и этим временем. Для успешных и остановленных задач это время после загрузки артефактов модели. Для задач, завершившихся неудачно, это время, когда SageMaker обнаруживает сбой задачи.

TrainingJobStatus -> (строка)

Статус задачи обучения.

TunedHyperParameters -> (карта)

Список гиперпараметров, для которых вы указали диапазоны для поиска.

key -> (строка)

value -> (строка)

FailureReason -> (строка)

Причина завершения задачи обучения неудачно.

FinalHyperParameterTuningJobObjectiveMetric -> (структура)

Объект FinalHyperParameterTuningJobObjectiveMetric, указывающий значение метрики цели задачи настройки, которая запустила эту задачу обучения.

Type -> (строка)

Выберите, хотите ли вы минимизировать или максимизировать метрику цели во время настройки гиперпараметров.

MetricName -> (строка)

Имя метрики цели. Для встроенных алгоритмов SageMaker метрики определяются по алгоритму. В качестве примера можно посмотреть метрики для XGBoost. Вы также можете использовать пользовательский алгоритм для обучения и определить свои собственные метрики. Для получения дополнительной информации см. Define metrics and environment variables.

Value -> (вещественное число)

Значение метрики цели.

ObjectiveStatus -> (строка)

Статус метрики цели для задачи обучения:

Succeeded: Конечная метрика цели для задачи обучения была оценена задачей настройки гиперпараметров и использована в процессе настройки гиперпараметров.
Pending: Задача обучения выполняется, и оценка ее конечной метрики цели ожидается.
Failed: Конечная метрика цели для задачи обучения не была оценена и не использовалась в процессе настройки гиперпараметров. Это обычно происходит, когда задача обучения завершилась неудачно или не сгенерировала метрику цели.

OverallBestTrainingJob -> (структура)

Если задача настройки гиперпараметров является задачей настройки с горячим запуском с WarmStartType IDENTICAL_DATA_AND_ALGORITHM, это TrainingJobSummary для задачи обучения с лучшим значением метрики цели из всех задач обучения, запущенных этой задачей настройки и всех родительских задач, указанных для задачи настройки с горячим запуском.

TrainingJobDefinitionName -> (строка)

Имя определения задачи обучения.

TrainingJobName -> (строка)

Имя задачи обучения.

TrainingJobArn -> (строка)

Amazon Resource Name (ARN) задачи обучения.

TuningJobName -> (строка)

Задача настройки гиперпараметров, запустившая задачу обучения.

CreationTime -> (временная метка)

Дата и время создания задачи обучения.

TrainingStartTime -> (временная метка)

Дата и время начала задачи обучения.

TrainingEndTime -> (временная метка)

TrainingJobStatus -> (строка)

Статус задачи обучения.

TunedHyperParameters -> (карта)

Список гиперпараметров, для которых вы указали диапазоны для поиска.

key -> (строка)

value -> (строка)

FailureReason -> (строка)

Причина завершения задачи обучения неудачно.

FinalHyperParameterTuningJobObjectiveMetric -> (структура)

Type -> (строка)

Выберите, хотите ли вы минимизировать или максимизировать метрику цели во время настройки гиперпараметров.

MetricName -> (строка)

Value -> (вещественное число)

Значение метрики цели.

ObjectiveStatus -> (строка)

Статус метрики цели для задачи обучения:

Succeeded: Конечная метрика цели для задачи обучения была оценена задачей настройки гиперпараметров и использована в процессе настройки гиперпараметров.
Pending: Задача обучения выполняется, и оценка ее конечной метрики цели ожидается.
Failed: Конечная метрика цели для задачи обучения не была оценена и не использовалась в процессе настройки гиперпараметров. Это обычно происходит, когда задача обучения завершилась неудачно или не сгенерировала метрику цели.

WarmStartConfig -> (структура)

Настройка для запуска задачи настройки гиперпараметров, используя одну или несколько предыдущих задач настройки в качестве отправной точки. Результаты предыдущих задач настройки используются для определения комбинаций гиперпараметров, которые следует искать в новой задаче настройки.

ParentHyperParameterTuningJobs -> (список)

Массив задач настройки гиперпараметров, используемых в качестве отправной точки для новой задачи настройки гиперпараметров. Дополнительную информацию о горячем запуске задачи настройки гиперпараметров см. в разделе Using a Previous Hyperparameter Tuning Job as a Starting Point.

Задачи настройки гиперпараметров, созданные до 1 октября 2018 года, не могут использоваться в качестве родительских задач для задач настройки с горячим запуском.

(структура)

Ранее завершенная или остановленная задача настройки гиперпараметров, используемая в качестве отправной точки для новой задачи настройки гиперпараметров.

HyperParameterTuningJobName -> (строка)

Имя задачи настройки гиперпараметров, используемой в качестве отправной точки для новой задачи настройки гиперпараметров.

WarmStartType -> (строка)

Указывает одно из следующих значений:

IDENTICAL_DATA_AND_ALGORITHM

Новая задача настройки гиперпараметров использует те же входные данные и образ обучения, что и родительские задачи настройки. Вы можете изменить диапазоны гиперпараметров для поиска и максимальное количество задач обучения, которые запускает задача настройки гиперпараметров. Вы не можете использовать новую версию алгоритма обучения, если изменения в новой версии не влияют на сам алгоритм. Например, разрешаются изменения, улучшающие ведение журнала или добавление поддержки другого формата данных. Вы также можете изменить гиперпараметры из настраиваемых в статические и из статических в настраиваемые, но общее количество статических и настраиваемых гиперпараметров должно оставаться таким же, как и во всех родительских задачах. Метрика цели для новой задачи настройки должна быть такой же, как и для всех родительских задач.

TRANSFER_LEARNING

Новая задача настройки гиперпараметров может включать входные данные, диапазоны гиперпараметров, максимальное количество одновременных задач обучения и максимальное количество задач обучения, отличные от тех, что указаны в родительских задачах настройки гиперпараметров. Образ обучения также может быть другой версией, чем версия, используемая в родительских задачах настройки гиперпараметров. Вы также можете изменить гиперпараметры из настраиваемых в статические и из статических в настраиваемые, но общее количество статических и настраиваемых гиперпараметров должно оставаться таким же, как и во всех родительских задачах. Метрика цели для новой задачи настройки должна быть такой же, как и для всех родительских задач.

Autotune -> (структура)

Флаг, указывающий, включена ли функция автонастройки для задачи настройки гиперпараметров.

Mode -> (строка)

Установите Mode в Enabled, если вы хотите использовать Autotune.

FailureReason -> (строка)

Если задача настройки завершилась неудачно, то указывается причина сбоя.

TuningJobCompletionDetails -> (структура)

Информация о завершении задачи настройки, возвращаемая в ответ от задачи настройки гиперпараметров. Эта информация указывает, достигла ли ваша задача настройки сходимости. Она также включает количество задач обучения, которые не улучшили производительность модели, оцененную по целевой функции.

NumberOfTrainingJobsObjectiveNotImproving -> (целое)

Количество задач обучения, запущенных задачей настройки, которые не улучшают (на 1% или меньше) производительность модели, измеренную по целевой функции.

ConvergenceDetectedTime -> (временная метка)

Время в формате временной метки, когда AMT обнаружил сходимость модели, как определено отсутствием значительного улучшения со временем на основе критериев, разработанных на широком спектре разнообразных эталонных тестов.

ConsumedResources -> (структура)

Общий объем ресурсов, потребленных вашей задачей настройки гиперпараметров.

RuntimeInSeconds -> (целое)

Время выполнения по часам в секундах, используемое вашей задачей настройки гиперпараметров.