create-model-quality-job-definition

Описание

Создает определение задания, которое отслеживает качество модели и отклонения. Сведения о мониторинге модели см. в разделе Amazon SageMaker AI Model Monitor .

См. также: Документацию API AWS

Синтаксис

  create-model-quality-job-definition
--job-definition-name <value>
[--model-quality-baseline-config <value>]
--model-quality-app-specification <value>
--model-quality-job-input <value>
--model-quality-job-output-config <value>
--job-resources <value>
[--network-config <value>]
--role-arn <value>
[--stopping-condition <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-definition-name (строка)

Имя определения задания мониторинга.

--model-quality-baseline-config (структура)

Устанавливает ограничения и базовые значения для задания мониторинга.

BaseliningJobName -> (строка)

Имя задания, выполняющего базовые значения для задания мониторинга.

ConstraintsResource -> (структура)

Ресурс ограничений для задания мониторинга.

S3Uri -> (строка)

Amazon S3 URI для ресурса ограничений.

Краткая синтаксическая запись:

BaseliningJobName=string,ConstraintsResource={S3Uri=string}

Синтаксис JSON:

{
  "BaseliningJobName": "string",
  "ConstraintsResource": {
    "S3Uri": "string"
  }
}

--model-quality-app-specification (структура)

Контейнер, в котором выполняется задание мониторинга.

ImageUri -> (строка)

Адрес образа контейнера, в котором выполняется задание мониторинга.

ContainerEntrypoint -> (список)

Указывает точку входа для контейнера, в котором выполняется задание мониторинга.

(строка)

ContainerArguments -> (список)

Массив аргументов для контейнера, используемого для выполнения задания мониторинга.

(строка)

RecordPreprocessorSourceUri -> (строка)

Amazon S3 URI скрипта, вызываемого на каждой строке перед запуском анализа. Он может декодировать содержимое в base64 и преобразовать его в плоский JSON, чтобы встроенный контейнер мог использовать преобразованные данные. Применимо только для встроенных (первичных) контейнеров.

PostAnalyticsProcessorSourceUri -> (строка)

Amazon S3 URI скрипта, вызываемого после выполнения анализа. Применимо только для встроенных (первичных) контейнеров.

ProblemType -> (строка)

Тип задачи машинного обучения модели, за которой следит задание мониторинга.

Environment -> (массив)

Устанавливает переменные среды в контейнере, в котором выполняется задание мониторинга.

ключ -> (строка)

значение -> (строка)

Краткая синтаксическая запись:

ImageUri=string,ContainerEntrypoint=string,string,ContainerArguments=string,string,RecordPreprocessorSourceUri=string,PostAnalyticsProcessorSourceUri=string,ProblemType=string,Environment={KeyName1=string,KeyName2=string}

Синтаксис JSON:

{
  "ImageUri": "string",
  "ContainerEntrypoint": ["string", ...],
  "ContainerArguments": ["string", ...],
  "RecordPreprocessorSourceUri": "string",
  "PostAnalyticsProcessorSourceUri": "string",
  "ProblemType": "BinaryClassification"|"MulticlassClassification"|"Regression",
  "Environment": {"string": "string"
    ...}
}

--model-quality-job-input (структура)

Список входных данных, которые отслеживаются. В настоящее время поддерживаются конечные точки.

EndpointInput -> (структура)

Объект входных данных для конечной точки

EndpointName -> (строка)

Конечная точка в учетной записи клиента, для которой включен DataCaptureConfig.

LocalPath -> (строка)

Путь к файловой системе, где данные конечной точки доступны контейнеру.

S3InputMode -> (строка)

Способ, которым используется Pipe или File в качестве режима ввода для передачи данных для задания мониторинга. Режим Pipe рекомендуется для больших наборов данных. Режим File полезен для небольших файлов, которые помещаются в оперативную память. По умолчанию File.

S3DataDistributionType -> (строка)

Полная репликация или фрагментация данных, распределенных в Amazon S3, по ключу Amazon S3. По умолчанию FullyReplicated

FeaturesAttribute -> (строка)

Атрибуты входных данных, которые являются входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий правильное значение метки.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (двойное)

Порог вероятности класса, для которого результат оценивается как положительный.

StartTimeOffset -> (строка)

Если указано, задания мониторинга вычитают это время из начального времени. Дополнительная информация об использовании смещений для планирования заданий мониторинга моделей см. в разделе Планирование заданий мониторинга качества моделей.

EndTimeOffset -> (строка)

Если указано, задания мониторинга вычитают это время из конечного времени. Дополнительная информация об использовании смещений для планирования заданий мониторинга моделей см. в разделе Планирование заданий мониторинга качества моделей.

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые необходимо исключить из анализа.

BatchTransformInput -> (структура)

Объект входных данных для задания пакетной трансформации.

DataCapturedDestinationS3Uri -> (строка)

Расположение Amazon S3 для захвата данных.

DatasetFormat -> (структура)

Формат набора данных для вашего задания пакетной трансформации.

Csv -> (структура)

Набор данных CSV, используемый в задании мониторинга.

Header -> (булево)

Указывает, содержит ли данные CSV заголовок.

Json -> (структура)

Набор данных JSON, используемый в задании мониторинга.

Line -> (булево)

Указывает, следует ли читать файл как объект JSON на каждой строке.

Parquet -> (структура)

Набор данных Parquet, используемый в задании мониторинга

LocalPath -> (строка)

Путь к файловой системе, где данные пакетной трансформации доступны контейнеру.

S3InputMode -> (строка)

S3DataDistributionType -> (строка)

Полная репликация или фрагментация данных, распределенных в Amazon S3, по ключу S3. По умолчанию FullyReplicated

FeaturesAttribute -> (строка)

Атрибуты входных данных, которые являются входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий правильное значение метки.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (двойное)

Порог вероятности класса, для которого результат оценивается как положительный.

StartTimeOffset -> (строка)

EndTimeOffset -> (строка)

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые необходимо исключить из анализа.

GroundTruthS3Input -> (структура)

Правильные значения метки, предоставленные для модели.

S3Uri -> (строка)

Адрес расположения Amazon S3 правильных значений меток.

Синтаксис JSON:

{
  "EndpointInput": {
    "EndpointName": "string",
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  },
  "BatchTransformInput": {
    "DataCapturedDestinationS3Uri": "string",
    "DatasetFormat": {
      "Csv": {
        "Header": true|false
      },
      "Json": {
        "Line": true|false
      },
      "Parquet": {

      }
    },
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  },
  "GroundTruthS3Input": {
    "S3Uri": "string"
  }
}

--model-quality-job-output-config (структура)

Настройка вывода для заданий мониторинга.

MonitoringOutputs -> (список)

Выходные данные мониторинга для заданий мониторинга. Именно здесь загружаются результаты периодических заданий мониторинга.

(структура)

Объект вывода для задания мониторинга.

S3Output -> (структура)

Расположение Amazon S3, где сохраняются результаты задания мониторинга.

S3Uri -> (строка)

URI, идентифицирующий расположение Amazon S3, где Amazon SageMaker AI сохраняет результаты задания мониторинга.

LocalPath -> (строка)

Локальный путь к расположению Amazon S3, где Amazon SageMaker AI сохраняет результаты задания мониторинга. LocalPath — это абсолютный путь к данным вывода.

S3UploadMode -> (строка)

Непрерывная или завершенная загрузка результатов задания мониторинга.

KmsKeyId -> (строка)

Ключ управления ключами (KMS), который Amazon SageMaker AI использует для шифрования артефактов модели в состоянии покоя с помощью шифрования Amazon S3 на стороне сервера.

Синтаксис JSON:

{
  "MonitoringOutputs": [
    {
      "S3Output": {
        "S3Uri": "string",
        "LocalPath": "string",
        "S3UploadMode": "Continuous"|"EndOfJob"
      }
    }
    ...
  ],
  "KmsKeyId": "string"
}

--job-resources (структура)

Идентифицирует ресурсы для развертывания для задания мониторинга.

ClusterConfig -> (структура)

Настройка ресурсов кластера, используемых для выполнения задания обработки.

InstanceCount -> (целое число)

Количество вычислительных экземпляров ML, которые необходимо использовать в задании мониторинга моделей. Для распределенных заданий обработки укажите значение больше 1. Значение по умолчанию — 1.

InstanceType -> (строка)

Тип вычислительного экземпляра ML для задания обработки.

VolumeSizeInGB -> (целое число)

Размер ML-хранилища в гигабайтах, которое вы хотите создать. Необходимо указать достаточное ML-хранилище для вашей ситуации.

VolumeKmsKeyId -> (строка)

Ключ управления ключами (KMS), который Amazon SageMaker AI использует для шифрования данных в томе хранилища, подключенном к вычислительному экземпляру ML, который выполняет задание мониторинга моделей.

Краткая синтаксическая запись:

ClusterConfig={InstanceCount=integer,InstanceType=string,VolumeSizeInGB=integer,VolumeKmsKeyId=string}

Синтаксис JSON:

{
  "ClusterConfig": {
    "InstanceCount": integer,
    "InstanceType": "ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge",
    "VolumeSizeInGB": integer,
    "VolumeKmsKeyId": "string"
  }
}

--network-config (структура)

Указывает конфигурацию сети для задания мониторинга.

EnableInterContainerTrafficEncryption -> (булево)

Шифровать ли все коммуникации между экземплярами, используемыми для заданий мониторинга. Выберите True для шифрования сообщений. Шифрование обеспечивает большую безопасность для распределенных заданий, но обработка может занять больше времени.

EnableNetworkIsolation -> (булево)

Разрешить ли входящие и исходящие сетевые вызовы в контейнеры, используемые для задания мониторинга.

VpcConfig -> (структура)

Указывает виртуальную частную сеть Amazon (VPC), к которой имеют доступ ваши задания SageMaker, размещенные модели и вычислительные ресурсы. Вы можете управлять доступом к ресурсам, настраивая VPC. Дополнительные сведения см. в разделе Предоставление SageMaker доступа к ресурсам в вашей виртуальной частной сети Amazon.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить ваше задание обучения или модель. Дополнительные сведения о доступности определенных типов экземпляров см. в разделе Поддерживаемые типы экземпляров и доступные зоны.

(строка)

Краткая синтаксическая запись:

EnableInterContainerTrafficEncryption=boolean,EnableNetworkIsolation=boolean,VpcConfig={SecurityGroupIds=[string,string],Subnets=[string,string]}

Синтаксис JSON:

{
  "EnableInterContainerTrafficEncryption": true|false,
  "EnableNetworkIsolation": true|false,
  "VpcConfig": {
    "SecurityGroupIds": ["string", ...],
    "Subnets": ["string", ...]
  }
}

--role-arn (строка)

Amazon Resource Name (ARN) роли IAM, которую Amazon SageMaker AI может принять для выполнения задач от вашего имени.

--stopping-condition (структура)

Ограничение по времени выполнения задания мониторинга, после которого оно остановится.

MaxRuntimeInSeconds -> (целое число)

Максимальное время выполнения в секундах.

Примечание

MaxRuntimeInSeconds не может превышать частоту выполнения задания. Для обеспечения качества данных и объяснения модели это может быть до 3600 секунд для ежечасного расписания. Для моделей смещения и качества модели ежечасные расписания могут составлять до 1800 секунд.

Краткая синтаксическая запись:

MaxRuntimeInSeconds=integer

Синтаксис JSON:

{
  "MaxRuntimeInSeconds": integer
}

--tags (список)

(Необязательно) Массив пар ключ-значение. Дополнительная информация в разделе Использование тегов распределения затрат в руководстве пользователя по оплате и управлению затратами Amazon Web Services .

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемого для управления метаданными ресурсов SageMaker Amazon Web Services.

Вы можете добавлять теги к экземплярам ноутбуков, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, группам работы, конфигурациям конечных точек и конечным точкам. Дополнительная информация о добавлении тегов к ресурсам SageMaker, см. AddTags .

Дополнительную информацию об добавлении метаданных к вашим ресурсам Amazon Web Services с помощью тегов см. Тегирование ресурсов Amazon Web Services . Советы по лучшим методам работы с ресурсами Amazon Web Services с использованием тегов см. в разделе Рекомендации по использованию тегов: Реализация эффективной стратегии тегов ресурсов Amazon Web Services .

Key -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Value -> (строка)

Значение тега.

Краткая синтаксическая запись:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON следует формату, заданному в --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, заданные JSON. Невозможно передать произвольные двоичные значения с помощью значения JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса API. Если предоставлено без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команд и возвращает пример выходного JSON для этой команды. Сгенерированный каркас JSON не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Общие параметры

--debug (булево)

Включить отладку.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого подключения SSL AWS CLI проверит сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (булево)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команд.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла аутентификации.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

on
off
auto

--no-sign-request (булево)

Не подписывать запросы. Кредиты не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Пакет сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строкой base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое сопоставляется с двоичным блоком, fileb:// всегда будет обрабатываться как двоичное и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (булево)

Отключить вывод страницы кли для вывода.

--cli-auto-prompt (булево)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическую запрос параметров ввода CLI.

Вывод

JobDefinitionArn -> (строка)

Amazon Resource Name (ARN) задания мониторинга качества модели.