describe-auto-ml-job-v2

Тип канала. Определяет, используются ли данные для обучения или валидации. Значение по умолчанию — training. Каналы для training и validation должны использовать один и тот же ContentType

Тип содержимого данных из источника входных данных. Ниже приведены разрешенные типы содержимого для различных задач:

• Для задач с табличными типами данных: text/csv;header=present или x-application/vnd.amazon+parquet. Значение по умолчанию — text/csv;header=present.
• Для задач классификации изображений: image/png, image/jpeg или image/*. Значение по умолчанию — image/*.
• Для задач классификации текста: text/csv;header=present или x-application/vnd.amazon+parquet. Значение по умолчанию — text/csv;header=present.
• Для задач прогнозирования временных рядов: text/csv;header=present или x-application/vnd.amazon+parquet. Значение по умолчанию — text/csv;header=present.
• Для задач генерации текста (тонкая настройка ЛМ): text/csv;header=present или x-application/vnd.amazon+parquet. Значение по умолчанию — text/csv;header=present.

Разрешенные типы сжатия зависят от формата входных данных и типа задачи. Мы разрешаем тип сжатия Gzip для входных данных S3Prefix только для табличных данных. Для всех остальных входных данных тип сжатия должен быть None. Если тип сжатия не указан, мы используем значение по умолчанию — None.

Источник данных для канала AutoML (обязательно).

S3DataSource -> (структура)

Идентификатор ключа шифрования Key Management Service.

Путь к выходным данным в Amazon S3. Длина пути не должна превышать 512 символов.

Имя метрики цели, используемой для измерения качества прогнозирования системы машинного обучения. Во время обучения параметры модели обновляются итеративно для оптимизации ее производительности на основе обратной связи, предоставленной метрикой цели при оценке модели на наборе валидации.

Список доступных метрик, поддерживаемых Autopilot, и метрика по умолчанию, применяемая, если вы не укажете имя метрики явно, зависят от типа задачи.

• Для задач с табличными типами данных:

  • Список доступных метрик:
    • Регрессия: MAE, MSE, R2, RMSE
    • Бинарная классификация: Accuracy, AUC, BalancedAccuracy, F1, Precision, Recall
    • Многоклассовая классификация: Accuracy, BalancedAccuracy, F1macro, PrecisionMacro, RecallMacro

  Описание каждой метрики см. в Autopilot metrics for classification and regression.

  • Метрики цели по умолчанию:
    • Регрессия: MSE.
    • Бинарная классификация: F1.
    • Многоклассовая классификация: Accuracy.

• Для задач классификации изображений или текста:

  • Список доступных метрик: Accuracy. Описание каждой метрики см. в Autopilot metrics for text and image classification.
  • Метрики цели по умолчанию: Accuracy

• Для задач прогнозирования временных рядов:

  • Список доступных метрик: RMSE, wQL, Average wQL, MASE, MAPE, WAPE. Описание каждой метрики см. в Autopilot metrics for time-series forecasting.
  • Метрики цели по умолчанию: AverageWeightedQuantileLoss

• Для задач генерации текста (тонкая настройка ЛМ): Для тонкой настройки языковых моделей в Autopilot не требуется устанавливать поле AutoMLJobObjective. Autopilot производит тонкую настройку ЛМ без необходимости обучения и оценки нескольких кандидатов. Вместо этого, используя ваш набор данных, Autopilot напрямую производит тонкую настройку вашей целевой модели для повышения метрики цели по умолчанию — кросс-энтропийной потери. После тонкой настройки языковой модели вы можете оценить качество сгенерированного текста с помощью различных метрик. Список доступных метрик см. в Metrics for fine-tuning LLMs in Autopilot.

Настройки для конфигурации задачи AutoML V2 для типа задачи классификации изображений.

CompletionCriteria -> (структура)

Настройки для конфигурации задачи AutoML V2 для типа задачи классификации текста.

CompletionCriteria -> (структура)

ContentColumn -> (строка)

TargetLabelColumn -> (строка)

URL к источнику данных Amazon S3, содержащему дополнительные выбранные признаки, которые дополняют целевой признак, itemID, отметку времени и сгруппированные столбцы, заданные в TimeSeriesConfig. Если не указано, задание AutoML V2 включает все столбцы из исходного набора данных, которые еще не объявлены в TimeSeriesConfig. Если указано, задание AutoML V2 учитывает только эти дополнительные столбцы как дополнение к столбцам, объявленным в TimeSeriesConfig.

Вы можете ввести FeatureAttributeNames (необязательно) в формате JSON, как показано ниже:

Вы также можете указать тип данных признака (необязательно) в формате, показанном ниже:

Autopilot поддерживает следующие типы данных: numeric, categorical, text и datetime.

Сколько времени разрешено работать заданию или сколько кандидатов разрешено сгенерировать заданию.

MaxCandidates -> (целое число)

MaxRuntimePerTrainingJobInSeconds -> (целое число)

MaxAutoMLJobRuntimeInSeconds -> (целое число)

Частота прогнозов в прогнозе.

Допустимые интервалы — целое число, за которым следуют Y (год), M (месяц), W (неделя), D (день), H (час) и мин (минута). Например, 1D означает каждый день, а 15min — каждые 15 минут. Значение частоты не должно перекрываться со следующей более крупной частотой. Например, вы должны использовать частоту 1H вместо 60min.

Допустимые значения для каждой частоты приведены ниже:

• Минута - 1-59
• Час - 1-23
• День - 1-6
• Неделя - 1-4
• Месяц - 1-11
• Год - 1

Количество временных шагов, которые модель прогнозирует. Горизонт прогноза также называется длиной прогноза. Максимальный горизонт прогноза — меньшее из 500 временных шагов или 1/4 временных шагов в наборе данных.

Квантили, используемые для обучения модели для прогнозов в заданном квантиле. Вы можете указать квантили от 0.01 (p1) до 0.99 (p99) с шагом 0,01 или больше. Можно указать до пяти квантилей прогноза. Если ForecastQuantiles не указано, задание AutoML использует квантили p10, p50 и p90 по умолчанию.

(строка)

Преобразования, изменяющие определенные атрибуты временного ряда, такие как стратегии заполнения пропущенных значений.

Filling -> (отображение)

Aggregation -> (отображение)

Набор компонентов, определяющих временной ряд.

TargetAttributeName -> (строка)

TimestampAttributeName -> (строка)

ItemIdentifierAttributeName -> (строка)

GroupingAttributeNames -> (список)

Набор атрибутов праздничной обработки данных, используемых для включения информации о национальных праздниках в вашу модель прогнозирования.

(структура)

Хранит конфигурационную информацию о том, как генерируются кандидаты моделей с помощью задания AutoML V2.

AlgorithmsConfig -> (список)

Конфигурация информации о том, как генерируются кандидаты моделей.

AlgorithmsConfig -> (список)

Сколько времени разрешено работать заданию или сколько кандидатов разрешено сгенерировать заданию.

MaxCandidates -> (целое число)

MaxRuntimePerTrainingJobInSeconds -> (целое число)

MaxAutoMLJobRuntimeInSeconds -> (целое число)

URL источника данных Amazon S3, содержащий выбранные признаки из входного источника данных для запуска задания Autopilot V2. Вы можете ввести FeatureAttributeNames (необязательно) в формате JSON, как показано ниже:

Вы также можете указать тип данных признака (необязательно) в формате, показанном ниже:

В режиме ансамблирования Autopilot поддерживает только следующие типы данных: numeric , categorical , text и datetime . В режиме HPO Autopilot может поддерживать numeric , categorical , text , datetime и sequence .

Если предоставлен только FeatureDataTypes , ключи столбцов (col1 , col2 ,..) должны быть подмножеством имен столбцов во входных данных.

Если предоставлены как FeatureDataTypes , так и FeatureAttributeNames , то ключи столбцов должны быть подмножеством имен столбцов, предоставленных в FeatureAttributeNames .

Имя ключа FeatureAttributeNames фиксировано. Значения, перечисленные в ["col1", "col2", ...] , чувствительны к регистру и должны быть списком строк, содержащих уникальные значения, являющиеся подмножеством имен столбцов во входных данных. Список предоставленных столбцов не должен включать целевой столбец.

Метод, используемый Autopilot для обучения данных. Вы можете указать режим вручную или позволить Autopilot выбрать его за вас на основе размера набора данных, выбрав AUTO . В режиме AUTO Autopilot выбирает ENSEMBLING для наборов данных меньше 100 МБ и HYPERPARAMETER_TUNING для больших.

Режим ENSEMBLING использует многоуровневую ансамблевую модель для прогнозирования задач классификации и регрессии непосредственно из вашего набора данных. Эта модель машинного обучения объединяет несколько базовых моделей для создания оптимальной предсказательной модели. Затем она использует метод ансамблирования стекинга для объединения прогнозов входящих членов. Многоуровневая ансамблевая модель может обеспечить лучшую производительность по сравнению с одной моделью, объединяя предсказательные возможности нескольких моделей. Список алгоритмов, поддерживаемых режимом ENSEMBLING, см. в разделе Поддержка алгоритмов Autopilot.

Режим HYPERPARAMETER_TUNING (HPO) использует лучшие гиперпараметры для обучения лучшей версии модели. HPO автоматически выбирает алгоритм для типа задачи, которую вы хотите решить. Затем HPO находит лучшие гиперпараметры в соответствии с вашим целевым метрическим показателем. Список алгоритмов, поддерживаемых режимом HYPERPARAMETER_TUNING, см. в разделе Поддержка алгоритмов Autopilot.

Генерирует возможных кандидатов без обучения моделей. Кандидат модели — это комбинация предобработчиков данных, алгоритмов и параметров алгоритмов.

Тип задачи обучения с учителем, доступный для кандидатов моделей задания AutoML V2. Дополнительную информацию см. в разделе Типы задач SageMaker Autopilot.

Имя целевой переменной в обучении с учителем, обычно обозначаемой «y».

При указании это имя столбца указывает, какой столбец набора данных следует рассматривать как веса образцов для использования метрикой задачи при обучении, оценке и выборе лучшей модели. Этот столбец не считается предсказательным признаком. Дополнительную информацию о метриках Autopilot см. в разделе Метрики и валидация.

Веса образцов должны быть числовыми, неотрицательными, причем большие значения указывают, какие строки важнее других. Точки данных, которые имеют недопустимое или нулевое значение веса, исключаются.

Поддержка весов образцов доступна только в режиме ансамблирования.

Сколько времени разрешено выполняться задаче тонкой настройки. Для типов задач TextGenerationJobConfig атрибут MaxRuntimePerTrainingJobInSeconds в AutoMLJobCompletionCriteria по умолчанию равен 72 ч (259200 с).

MaxCandidates -> (целое число)

MaxRuntimePerTrainingJobInSeconds -> (целое число)

MaxAutoMLJobRuntimeInSeconds -> (целое число)

Имя базовой модели, подлежащей тонкой настройке. Autopilot поддерживает тонкую настройку различных больших языковых моделей. Сведения о поддерживаемых моделях см. в разделе Модели генерации текста, поддерживающие тонкую настройку в Autopilot. Если BaseModelName не предоставлено, используемая по умолчанию модель — Falcon7BInstruct.

Гиперпараметры, используемые для конфигурации и оптимизации процесса обучения базовой модели. Для всех базовых моделей можно задать любое сочетание следующих гиперпараметров. Дополнительные сведения о каждом поддерживаемом гиперпараметре см. в разделе Оптимизация процесса обучения ваших моделей генерации текста с помощью гиперпараметров.

• "epochCount" : Количество раз, когда модель проходит через весь набор данных обучения. Его значение должно быть строкой, содержащей целое число в диапазоне от «1» до «10».
• "batchSize" : Количество образцов данных, используемых в каждом цикле обучения. Его значение должно быть строкой, содержащей целое число в диапазоне от «1» до «64».
• "learningRate" : Шаг, с которым обновляются параметры модели во время обучения. Его значение должно быть строкой, содержащей значение с плавающей точкой в диапазоне от «0» до «1».
• "learningRateWarmupSteps" : Количество шагов обучения, во время которых скорость обучения постепенно увеличивается, прежде чем достичь целевого или максимального значения. Его значение должно быть строкой, содержащей целое число в диапазоне от «0» до «250».

Вот пример, где все четыре гиперпараметра настроены.

ключ -> (строка)

значение -> (строка)

Файл конфигурации доступа для управления доступом к модели ML. Вы можете явно принять соглашение об использовании модели конечным пользователем (EULA) в ModelAccessConfig.

• Если вы пользователь Jumpstart, см. раздел Соглашения об использовании модели конечным пользователем для получения дополнительной информации о принятии соглашения об использовании модели конечным пользователем.
• Если вы пользователь AutoML, см. раздел «Дополнительные параметры» в разделе «Создание задачи AutoML для тонкой настройки моделей генерации текста с помощью API» для получения информации о том, как установить принятие соглашения об использовании модели конечным пользователем при настройке модели с помощью API AutoML.

AcceptEula -> (булево)

Причина частичного сбоя задачи AutoML.

PartialFailureMessage -> (строка)

Имя кандидата.

Результат лучшего кандидата из задачи обучения AutoML.

Type -> (строка)

MetricName -> (строка)

Value -> (число с плавающей точкой)

StandardMetricName -> (строка)

Состояние цели.

Информация об этапах кандидата.

(структура)

Состояние кандидата.

Информация о рекомендуемых определениях контейнеров для вывода.

(структура)

Время создания.

Время завершения.

Время последнего изменения.

Причина сбоя.

Свойства задачи кандидата AutoML.

CandidateArtifactLocations -> (структура)

CandidateMetrics -> (список)

Сопоставление всех поддерживаемых процессорных единиц (CPU, GPU и т. д.) с определениями контейнеров для вывода для кандидата. Это поле заполняется для задач AutoML V2 (например, для задач, созданных с помощью вызова CreateAutoMLJobV2 ) только для типов задач классификации изображений или текста.

ключ -> (строка)

значение -> (список)

URL расположения блокнота.

URL расположения блокнота.

Имя целевой метрики, используемой для измерения качества предсказательной модели машинного обучения. Во время обучения параметры модели итеративно обновляются для оптимизации производительности на основе обратной связи, предоставляемой целевой метрикой при оценке модели на проверочном наборе данных.

Список доступных метрик, поддерживаемых Autopilot, и значение метрики по умолчанию, если вы не указываете имя метрики явно, зависят от типа задачи.

• Для задач с табличными данными:

  • Список доступных метрик:
    • Регрессия: MAE , MSE , R2 , RMSE
    • Бинарная классификация: Accuracy , AUC , BalancedAccuracy , F1 , Precision , Recall
    • Мультикатегориальная классификация: Accuracy , BalancedAccuracy , F1macro , PrecisionMacro , RecallMacro

  Описание каждой метрики см. в разделе Метрики Autopilot для классификации и регрессии.

  • Метрики по умолчанию:
    • Регрессия: MSE .
    • Бинарная классификация: F1 .
    • Мультикатегориальная классификация: Accuracy .

• Для задач классификации изображений или текста:

  • Список доступных метрик: Accuracy. Описание каждой метрики см. в разделе Метрики Autopilot для классификации текста и изображений.
  • Метрики по умолчанию: Accuracy

• Для задач прогнозирования временных рядов:

  • Список доступных метрик: RMSE , wQL , Average wQL , MASE , MAPE , WAPE. Описание каждой метрики см. в разделе Метрики Autopilot для прогнозирования временных рядов.
  • Метрики по умолчанию: AverageWeightedQuantileLoss

• Для задач генерации текста (тонкая настройка моделей LLMs): Тонкая настройка языковых моделей в Autopilot не требует задания поля AutoMLJobObjective. Autopilot выполняет тонкую настройку LLMs без необходимости обучения и оценки нескольких кандидатов. Вместо этого, используя ваш набор данных, Autopilot напрямую настраивает целевую модель для улучшения значения метрики по умолчанию — кросс-энтропии. После тонкой настройки языковой модели вы можете оценить качество сгенерированного текста с использованием различных метрик. Список доступных метрик см. в разделе Метрики для тонкой настройки LLMs в Autopilot.

Максимальное количество запусков задачи обучения.

Для задач классификации текста и изображений, прогнозирования временных рядов, а также генерации текста (тонкая настройка моделей LLMs) поддерживается значение 1. Для задач с табличными данными максимальное значение равно 750.

Максимальное время (в секундах) работы каждой задачи обучения, выполняемой в рамках задачи настройки гиперпараметров. Дополнительную информацию см. в разделе StoppingCondition, используемой действием CreateHyperParameterTuningJob.

Для задач v2 (задачи, созданные с помощью вызова CreateAutoMLJobV2), это поле контролирует время работы кандидата задачи.

Для задач TextGenerationJobConfig максимальное время по умолчанию составляет 72 часа (259200 секунд).

Максимальное время (в секундах) работы задачи AutoML.

Если задача AutoML превышает максимальное время работы, задача останавливается автоматически, и её обработка завершается корректно. Задача AutoML определяет лучшую модель, обучение которой было завершено, и помечает её как лучшую модель. Любые незавершенные этапы работы, такие как автоматическое развертывание модели Autopilot одним щелчком мыши, не завершаются.

Разрешённые атрибуты для задач с табличными данными.

ProblemType -> (строка)

Разрешённые атрибуты для задач генерации текста.

BaseModelName -> (строка)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Идентификатор подсетей в VPC, к которому вы хотите подключить задачу обучения или модель. Сведения о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и доступные зоны.

(строка)

ARN роли IAM, предоставляющей задаче AutoML v2 необходимые разрешения на доступ к политикам для перечисления, подключения или управления задачами EMR Serverless. Подробную информацию о необходимых разрешениях этой роли см. в разделе «Как настроить AutoML для запуска удалённой задачи на EMR Serverless для больших наборов данных» в разделе Создание задачи регрессии или классификации для табличных данных с использованием API AutoML или Создание задачи AutoML для прогнозирования временных рядов с использованием API.