create-model-bias-job-definition

Описание

Создаёт определение задачи моделирования смещения модели.

См. также: AWS API документация

Синтаксис

  create-model-bias-job-definition
--job-definition-name <value>
[--model-bias-baseline-config <value>]
--model-bias-app-specification <value>
--model-bias-job-input <value>
--model-bias-job-output-config <value>
--job-resources <value>
[--network-config <value>]
--role-arn <value>
[--stopping-condition <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-definition-name (строка)

Имя определения задачи смещения модели. Имя должно быть уникальным в данной Регионе AWS в аккаунте AWS.

--model-bias-baseline-config (структура)

Базовая конфигурация для задачи моделирования смещения модели.

BaseliningJobName -> (строка)

Имя базовой задачи моделирования смещения модели.

ConstraintsResource -> (структура)

Ресурс ограничений для задачи мониторинга.

S3Uri -> (строка)

Amazon S3 URI для ресурса ограничений.

Краткая запись:

BaseliningJobName=string,ConstraintsResource={S3Uri=string}

Синтаксис JSON:

{
  "BaseliningJobName": "string",
  "ConstraintsResource": {
    "S3Uri": "string"
  }
}

--model-bias-app-specification (структура)

Настраивает задачу моделирования смещения модели для запуска указанного Docker контейнерного образа.

ImageUri -> (строка)

Контейнерный образ, который будет запущен задачей моделирования смещения модели.

ConfigUri -> (строка)

Файл в формате JSON в S3, определяющий параметры смещения. Для получения дополнительной информации об этом файле конфигурации JSON, см. Настройка параметров смещения.

Environment -> (массив)

Устанавливает переменные окружения в Docker контейнере.

key -> (строка)

value -> (строка)

Краткая запись:

ImageUri=string,ConfigUri=string,Environment={KeyName1=string,KeyName2=string}

Синтаксис JSON:

{
  "ImageUri": "string",
  "ConfigUri": "string",
  "Environment": {"string": "string"
    ...}
}

--model-bias-job-input (структура)

Входные данные для задачи моделирования смещения модели.

EndpointInput -> (структура)

Объект входных данных для конечной точки

EndpointName -> (строка)

Конечная точка в аккаунте клиента, у которой включен DataCaptureConfig.

LocalPath -> (строка)

Путь к файловой системе, где данные конечной точки доступны контейнеру.

S3InputMode -> (строка)

Способ использования Pipe или File в качестве режима ввода для передачи данных для задачи мониторинга. Режим Pipe рекомендуется для больших наборов данных. Режим File полезен для небольших файлов, которые помещаются в оперативную память. По умолчанию устанавливается значение File.

S3DataDistributionType -> (строка)

Способ распределения входных данных в Amazon S3: полная репликация или фрагментация по ключу Amazon S3. По умолчанию используется FullyReplicated.

FeaturesAttribute -> (строка)

Атрибуты входных данных, являющиеся входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий целевое значение.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (дробное)

Порог вероятности класса, для оценки как положительного результата.

StartTimeOffset -> (строка)

Если указано, задачи мониторинга вычитают это время из начального времени. Для получения информации об использовании смещений для планирования задач мониторинга, см. Планирование задач мониторинга качества модели.

EndTimeOffset -> (строка)

Если указано, задачи мониторинга вычитают это время из конечного времени. Для получения информации об использовании смещений для планирования задач мониторинга, см. Планирование задач мониторинга качества модели.

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые нужно исключить из анализа.

BatchTransformInput -> (структура)

Объект входных данных для задачи пакетной трансформации.

DataCapturedDestinationS3Uri -> (строка)

Расположение Amazon S3, используемое для захвата данных.

DatasetFormat -> (структура)

Формат набора данных для задачи пакетной трансформации.

Csv -> (структура)

CSV набор данных, используемый в задаче мониторинга.

Header -> (булево)

Указывает, содержит ли CSV данные заголовок.

Json -> (структура)

JSON набор данных, используемый в задаче мониторинга.

Line -> (булево)

Указывает, должен ли файл читаться как JSON объект на каждой строке.

Parquet -> (структура)

Parquet набор данных, используемый в задаче мониторинга

LocalPath -> (строка)

Путь к файловой системе, где данные пакетной трансформации доступны контейнеру.

S3InputMode -> (строка)

S3DataDistributionType -> (строка)

Способ распределения входных данных в Amazon S3: полная репликация или фрагментация по ключу S3. По умолчанию используется FullyReplicated.

FeaturesAttribute -> (строка)

Атрибуты входных данных, являющиеся входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий целевое значение.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (дробное)

Порог вероятности класса, для оценки как положительного результата.

StartTimeOffset -> (строка)

EndTimeOffset -> (строка)

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые нужно исключить из анализа.

GroundTruthS3Input -> (структура)

Расположение истинных меток для использования в задаче моделирования смещения модели.

S3Uri -> (строка)

Адрес расположения истинных меток в Amazon S3.

Синтаксис JSON:

{
  "EndpointInput": {
    "EndpointName": "string",
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  },
  "BatchTransformInput": {
    "DataCapturedDestinationS3Uri": "string",
    "DatasetFormat": {
      "Csv": {
        "Header": true|false
      },
      "Json": {
        "Line": true|false
      },
      "Parquet": {

      }
    },
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  },
  "GroundTruthS3Input": {
    "S3Uri": "string"
  }
}

--model-bias-job-output-config (структура)

Конфигурация вывода для задач мониторинга.

MonitoringOutputs -> (список)

Выходные данные мониторинга для задач мониторинга. Здесь загружаются результаты периодических задач мониторинга.

(структура)

Объект вывода для задачи мониторинга.

S3Output -> (структура)

Расположение хранения Amazon S3, где сохраняются результаты задачи мониторинга.

S3Uri -> (строка)

URI, идентифицирующий расположение хранения Amazon S3, где Amazon SageMaker AI сохраняет результаты задачи мониторинга.

LocalPath -> (строка)

Локальный путь к расположению хранения Amazon S3, где Amazon SageMaker AI сохраняет результаты задачи мониторинга. LocalPath — это абсолютный путь к выходным данным.

S3UploadMode -> (строка)

Способ загрузки результатов задачи мониторинга — непрерывно или после завершения задачи.

KmsKeyId -> (строка)

Ключ Key Management Service (KMS), который Amazon SageMaker AI использует для шифрования артефактов модели в состоянии покоя с помощью шифрования на стороне сервера Amazon S3.

Синтаксис JSON:

{
  "MonitoringOutputs": [
    {
      "S3Output": {
        "S3Uri": "string",
        "LocalPath": "string",
        "S3UploadMode": "Continuous"|"EndOfJob"
      }
    }
    ...
  ],
  "KmsKeyId": "string"
}

--job-resources (структура)

Определяет ресурсы для развертывания в задаче мониторинга.

ClusterConfig -> (структура)

Конфигурация кластерных ресурсов, используемых для выполнения задачи обработки.

InstanceCount -> (целое)

Количество экземпляров ML вычислительных ресурсов, используемых в задаче мониторинга модели. Для распределённых задач обработки укажите значение больше 1. По умолчанию 1.

InstanceType -> (строка)

Тип ML вычислительного экземпляра для задачи обработки.

VolumeSizeInGB -> (целое)

Размер ML объёма хранилища в гигабайтах, который вы хотите зарезервировать. Вам необходимо указать достаточный объём ML хранилища для вашего сценария.

VolumeKmsKeyId -> (строка)

Ключ Key Management Service (KMS), который Amazon SageMaker AI использует для шифрования данных на объёме хранилища, подключённом к ML вычислительному экземпляру(ам), которые выполняют задачу мониторинга модели.

Краткая запись:

ClusterConfig={InstanceCount=integer,InstanceType=string,VolumeSizeInGB=integer,VolumeKmsKeyId=string}

Синтаксис JSON:

{
  "ClusterConfig": {
    "InstanceCount": integer,
    "InstanceType": "ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge",
    "VolumeSizeInGB": integer,
    "VolumeKmsKeyId": "string"
  }
}

--network-config (структура)

Параметры сети для задачи моделирования смещения модели.

EnableInterContainerTrafficEncryption -> (булево)

Шифровать ли все коммуникации между экземплярами, используемыми для задач мониторинга? Выберите True для шифрования коммуникаций. Шифрование обеспечивает большую безопасность для распределённых задач, но обработка может занять больше времени.

EnableNetworkIsolation -> (булево)

Разрешить ли входящие и исходящие сетевые вызовы контейнерам, используемым для задач мониторинга?

VpcConfig -> (структура)

Определяет виртуальную частную сеть Amazon (VPC), к которой имеют доступ ваши задачи SageMaker, размещённые модели и вычислительные ресурсы. Вы можете управлять доступом к и от ваших ресурсов, настроив VPC. Для получения дополнительной информации, см. Предоставление SageMaker доступа к ресурсам в вашей VPC Amazon.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить вашу задачу обучения или модель. Для получения информации об доступности определённых типов экземпляров, см. Поддерживаемые типы экземпляров и доступные зоны.

(строка)

Краткая запись:

EnableInterContainerTrafficEncryption=boolean,EnableNetworkIsolation=boolean,VpcConfig={SecurityGroupIds=[string,string],Subnets=[string,string]}

Синтаксис JSON:

{
  "EnableInterContainerTrafficEncryption": true|false,
  "EnableNetworkIsolation": true|false,
  "VpcConfig": {
    "SecurityGroupIds": ["string", ...],
    "Subnets": ["string", ...]
  }
}

--role-arn (строка)

Amazon Resource Name (ARN) роли IAM, которую Amazon SageMaker AI может использовать для выполнения задач от вашего имени.

--stopping-condition (структура)

Ограничение по времени выполнения задачи мониторинга, до остановки.

MaxRuntimeInSeconds -> (целое)

Максимальное время выполнения в секундах.

Примечание

MaxRuntimeInSeconds не может превышать частоту задачи. Для качества данных и объяснения модели, это может быть до 3600 секунд для ежечасового графика. Для задач моделирования смещения модели и качества модели ежечасовые графики могут быть до 1800 секунд.

Краткая запись:

MaxRuntimeInSeconds=integer

Синтаксис JSON:

{
  "MaxRuntimeInSeconds": integer
}

--tags (список)

(Необязательно) Массив пар ключ-значение. Для получения дополнительной информации см. Использование тегов распределения затрат в руководстве пользователя по выставлению счетов и управлению затратами Amazon Web Services.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять теги к экземплярам ноутбуков, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении тегов к ресурсам SageMaker см. в разделе Добавление тегов.

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью тегов см. в разделе Тегирование ресурсов Amazon Web Services. Советы по лучшим практикам управления ресурсами Amazon Web Services с помощью тегов см. в разделе Лучшие практики тегирования: реализуйте эффективную стратегию тегирования ресурсов Amazon Web Services.

Ключ -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Значение -> (строка)

Значение тега.

Краткая синтаксическая запись:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения перекроют значения, предоставленные через JSON. Передача произвольных двоичных значений с помощью значения JSON невозможна, так как строка будет интерпретироваться буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит скелет JSON в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или значение input, выводит пример JSON ввода, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при предоставлении yaml-input будет выведен пример YAML ввода, который можно использовать с --cli-input-yaml. Если предоставлено значение output, то выполняется валидация входных данных команды и возвращается пример выходного JSON для этой команды. Сгенерированный скелет JSON не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном скелете JSON.

Общие параметры

--debug (логическое)

Включить отладку логирования.

--endpoint-url (строка)

Переопределить значение URL по умолчанию команды на указанный URL.

--no-verify-ssl (логическое)

По умолчанию AWS CLI использует SSL при взаимодействии с сервисами AWS. Для каждого соединения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (логическое)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команд.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для использования при фильтрации данных ответа.

--profile (строка)

Использование определенного профиля из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отображение версии этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

on
off
auto

--no-sign-request (логическое)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Набор сертификатов CA для использования при проверке сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставленного с двоичным блоком, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть правильно отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое)

Отключить кли-педжер для вывода.

--cli-auto-prompt (логическое)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое)

Отключить автоматическую запрос параметров ввода CLI.

Вывод

JobDefinitionArn -> (строка)

Amazon Resource Name (ARN) задания по оценке смещения модели.