start-ml-model-training-job

Описание

Создаёт новую задачу обучения модели ML для Neptune. Смотрите Обучение моделей с помощью команды ``modeltraining` <https://docs.aws.amazon.com/neptune/latest/userguide/machine-learning-api-modeltraining.html>`__.

При вызове этой операции в кластере Neptune с включенной аутентификацией IAM, пользователь или роль IAM, выполняющая запрос, должны иметь прикреплённую политику, которая разрешает действие neptune-db:StartMLModelTrainingJob в этом кластере.

См. также: Документация API AWS

Синтаксис

  start-ml-model-training-job
[--id <value>]
[--previous-model-training-job-id <value>]
--data-processing-job-id <value>
--train-model-s3-location <value>
[--sagemaker-iam-role-arn <value>]
[--neptune-iam-role-arn <value>]
[--base-processing-instance-type <value>]
[--training-instance-type <value>]
[--training-instance-volume-size-in-gb <value>]
[--training-time-out-in-seconds <value>]
[--max-hpo-number-of-training-jobs <value>]
[--max-hpo-parallel-training-jobs <value>]
[--subnets <value>]
[--security-group-ids <value>]
[--volume-encryption-kms-key <value>]
[--s3-output-encryption-kms-key <value>]
[--enable-managed-spot-training | --no-enable-managed-spot-training]
[--custom-model-training-parameters <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--id (строка)

Уникальный идентификатор новой задачи. По умолчанию — автоматически сгенерированный UUID.

--previous-model-training-job-id (строка)

Идентификатор задачи завершённого обучения модели, которую вы хотите обновлять инкрементально на основе обновлённых данных.

--data-processing-job-id (строка)

Идентификатор завершённой задачи обработки данных, которая создала данные, с которыми будет работать обучение.

--train-model-s3-location (строка)

Расположение в Amazon S3, где будут храниться артефакты модели.

--sagemaker-iam-role-arn (строка)

ARN роли IAM для выполнения SageMaker. Она должна быть указана в параметрах вашего кластера БД, иначе произойдёт ошибка.

--neptune-iam-role-arn (строка)

ARN роли IAM, предоставляющей Neptune доступ к ресурсам SageMaker и Amazon S3. Она должна быть указана в параметрах вашего кластера БД, иначе произойдёт ошибка.

--base-processing-instance-type (строка)

Тип экземпляра ML, используемого для подготовки и управления обучением моделей ML. Это экземпляр CPU, выбранный на основе требований к памяти для обработки обучающих данных и модели.

--training-instance-type (строка)

Тип экземпляра ML, используемого для обучения модели. Все модели ML Neptune поддерживают обучение с CPU, GPU и multiGPU. По умолчанию — ml.p3.2xlarge. Выбор правильного типа экземпляра для обучения зависит от типа задачи, размера графа и вашего бюджета.

--training-instance-volume-size-in-gb (целое число)

Размер объёма диска экземпляра обучения. И входные данные, и выходная модель хранятся на диске, поэтому размер объёма должен быть достаточно большим, чтобы вместить оба набора данных. По умолчанию — 0. Если не указан или равен 0, Neptune ML выбирает размер объёма диска на основе рекомендации, сгенерированной на этапе обработки данных.

--training-time-out-in-seconds (целое число)

Таймаут в секундах для задачи обучения. По умолчанию — 86 400 (1 день).

--max-hpo-number-of-training-jobs (целое число)

Максимальное общее количество задач обучения, которые нужно начать для задачи настройки гиперпараметров. По умолчанию — 2. Neptune ML автоматически настраивает гиперпараметры модели машинного обучения. Для получения модели, которая работает хорошо, используйте не менее 10 задач (другими словами, установите maxHPONumberOfTrainingJobs в 10). В общем случае, чем больше запусков настройки, тем лучше результаты.

--max-hpo-parallel-training-jobs (целое число)

Максимальное количество параллельных задач обучения, которые нужно начать для задачи настройки гиперпараметров. По умолчанию — 2. Количество параллельных задач, которые можно запустить, ограничено доступными ресурсами на вашем экземпляре обучения.

--subnets (список)

Идентификаторы подсетей в VPC Neptune. По умолчанию — None.

(строка)

Синтаксис:

"string" "string" ...

--security-group-ids (список)

Идентификаторы групп безопасности VPC. По умолчанию — None.

(строка)

Синтаксис:

"string" "string" ...

--volume-encryption-kms-key (строка)

Ключ Amazon Key Management Service (KMS), который SageMaker использует для шифрования данных на объёме хранения, подключённом к экземплярам вычислений ML, которые выполняют задачу обучения. По умолчанию — None.

--s3-output-encryption-kms-key (строка)

Ключ Amazon Key Management Service (KMS), который SageMaker использует для шифрования выходных данных задачи обработки. По умолчанию — none.

--enable-managed-spot-training | --no-enable-managed-spot-training (логическое значение)

Оптимизирует затраты на обучение моделей машинного обучения, используя экземпляры Amazon Elastic Compute Cloud spot. По умолчанию — False.

--custom-model-training-parameters (структура)

Настройка для пользовательского обучения модели. Это JSON-объект.

sourceS3DirectoryPath -> (строка)

Путь к расположению Amazon S3, где находится Python-модуль, реализующий вашу модель. Он должен указывать на действительное существующее расположение Amazon S3, которое, как минимум, содержит скрипт обучения, скрипт преобразования и файл model-hpo-configuration.json.

trainingEntryPointScript -> (строка)

Имя точки входа в вашем модуле скрипта, который выполняет обучение модели и принимает гиперпараметры в качестве аргументов командной строки, включая фиксированные гиперпараметры. По умолчанию — training.py.

transformEntryPointScript -> (строка)

Имя точки входа в вашем модуле скрипта, который должен запускаться после того, как лучшая модель из поиска по гиперпараметрам будет определена, для вычисления артефактов модели, необходимых для развертывания модели. Он должен быть способен работать без аргументов командной строки. По умолчанию — transform.py.

Сокращённый синтаксис:

sourceS3DirectoryPath=string,trainingEntryPointScript=string,transformEntryPointScript=string

Синтаксис JSON:

{
  "sourceS3DirectoryPath": "string",
  "trainingEntryPointScript": "string",
  "transformEntryPointScript": "string"
}

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет взята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, он выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладочную регистрацию.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого соединения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать конкретный профиль из вашего файла параметров.

--region (строка)

Использовать определённый регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Показать версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

включить
выключить
автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Кредиты не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и таймаут не будет установлен. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и таймаут не будет установлен. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде base64-кодированной строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое отображается на двоичный блок fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть правильно отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить тулбар AWS CLI для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматический запрос параметров ввода CLI.

Вывод

id -> (строка)

Уникальный идентификатор новой задачи обучения модели.

arn -> (строка)

ARN новой задачи обучения модели.

creationTimeInMillis -> (длинное целое число)

Время создания задачи обучения модели в миллисекундах.