create-data-quality-job-definition

Описание

Создаёт определение задания, которое отслеживает качество данных и их изменения. Для получения информации о мониторинге моделей см. Amazon SageMaker AI Model Monitor.

См. также: AWS API Documentation

Синтаксис

  create-data-quality-job-definition
--job-definition-name <value>
[--data-quality-baseline-config <value>]
--data-quality-app-specification <value>
--data-quality-job-input <value>
--data-quality-job-output-config <value>
--job-resources <value>
[--network-config <value>]
--role-arn <value>
[--stopping-condition <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--job-definition-name (строка)

Имя определения задания мониторинга.

--data-quality-baseline-config (структура)

Настраивает ограничения и базовые значения для задания мониторинга.

BaseliningJobName -> (строка)

Имя задания, выполняющего базовую настройку для задания мониторинга качества данных.

ConstraintsResource -> (структура)

Ресурс ограничений для задания мониторинга.

S3Uri -> (строка)

Amazon S3 URI для ресурса ограничений.

StatisticsResource -> (структура)

Ресурс статистики для задания мониторинга.

S3Uri -> (строка)

Amazon S3 URI для ресурса статистики.

Сокращённый синтаксис:

BaseliningJobName=string,ConstraintsResource={S3Uri=string},StatisticsResource={S3Uri=string}

Синтаксис JSON:

{
  "BaseliningJobName": "string",
  "ConstraintsResource": {
    "S3Uri": "string"
  },
  "StatisticsResource": {
    "S3Uri": "string"
  }
}

--data-quality-app-specification (структура)

Определяет контейнер, в котором выполняется задание мониторинга.

ImageUri -> (строка)

Изображение контейнера, в котором выполняется задание мониторинга качества данных.

ContainerEntrypoint -> (список)

Точка входа для контейнера, используемого для выполнения задания мониторинга.

(строка)

ContainerArguments -> (список)

Аргументы для отправки контейнеру, в котором выполняется задание мониторинга.

(строка)

RecordPreprocessorSourceUri -> (строка)

Amazon S3 URI к скрипту, который вызывается для каждой строки перед выполнением анализа. Он может выполнять декодирование в base64 и конвертировать полезную нагрузку в плоский JSON, чтобы встроенный контейнер мог использовать преобразованные данные. Применимо только для встроенных (первичных) контейнеров.

PostAnalyticsProcessorSourceUri -> (строка)

Amazon S3 URI к скрипту, который вызывается после выполнения анализа. Применимо только для встроенных (первичных) контейнеров.

Environment -> (массив)

Устанавливает переменные среды в контейнере, в котором выполняется задание мониторинга.

key -> (строка)

value -> (строка)

Сокращённый синтаксис:

ImageUri=string,ContainerEntrypoint=string,string,ContainerArguments=string,string,RecordPreprocessorSourceUri=string,PostAnalyticsProcessorSourceUri=string,Environment={KeyName1=string,KeyName2=string}

Синтаксис JSON:

{
  "ImageUri": "string",
  "ContainerEntrypoint": ["string", ...],
  "ContainerArguments": ["string", ...],
  "RecordPreprocessorSourceUri": "string",
  "PostAnalyticsProcessorSourceUri": "string",
  "Environment": {"string": "string"
    ...}
}

--data-quality-job-input (структура)

Список входных данных для задания мониторинга. В настоящее время поддерживаются конечные точки в качестве входных данных для мониторинга.

EndpointInput -> (структура)

Объект входных данных для конечной точки

EndpointName -> (строка)

Конечная точка в учётной записи клиента, для которой включён DataCaptureConfig.

LocalPath -> (строка)

Путь к файловой системе, где данные конечной точки доступны контейнеру.

S3InputMode -> (строка)

Используется ли Pipe или File в качестве режима ввода для передачи данных для задания мониторинга. Режим Pipe рекомендуется для больших наборов данных. Режим File полезен для небольших файлов, которые помещаются в оперативную память. По умолчанию используется File.

S3DataDistributionType -> (строка)

Полностью ли реплицируются входные данные, распределенные в Amazon S3, или они фрагментированы по ключу Amazon S3. По умолчанию используется FullyReplicated.

FeaturesAttribute -> (строка)

Атрибуты входных данных, являющиеся входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий истинное значение метки.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (двойное)

Порог для вероятности класса, чтобы результат считался положительным.

StartTimeOffset -> (строка)

Если указано, задания мониторинга вычитают это время из начального времени. Для получения информации о применении смещений для планирования заданий мониторинга см. Schedule Model Quality Monitoring Jobs.

EndTimeOffset -> (строка)

Если указано, задания мониторинга вычитают это время из конечного времени. Для получения информации о применении смещений для планирования заданий мониторинга см. Schedule Model Quality Monitoring Jobs.

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые нужно исключить из анализа.

BatchTransformInput -> (структура)

Объект входных данных для задания пакетной трансформации.

DataCapturedDestinationS3Uri -> (строка)

Расположение Amazon S3, используемое для захвата данных.

DatasetFormat -> (структура)

Формат набора данных для вашего задания пакетной трансформации.

Csv -> (структура)

Набор данных CSV, используемый в задании мониторинга.

Header -> (булево)

Указывает, содержит ли набор данных CSV заголовок.

Json -> (структура)

Набор данных JSON, используемый в задании мониторинга.

Line -> (булево)

Указывает, следует ли читать файл как JSON-объект в каждой строке.

Parquet -> (структура)

Набор данных Parquet, используемый в задании мониторинга

LocalPath -> (строка)

Путь к файловой системе, где данные пакетной трансформации доступны контейнеру.

S3InputMode -> (строка)

S3DataDistributionType -> (строка)

Полностью ли реплицируются входные данные, распределенные в Amazon S3, или они фрагментированы по ключу S3. По умолчанию используется FullyReplicated.

FeaturesAttribute -> (строка)

Атрибуты входных данных, являющиеся входными признаками.

InferenceAttribute -> (строка)

Атрибут входных данных, представляющий истинное значение метки.

ProbabilityAttribute -> (строка)

В задаче классификации атрибут, представляющий вероятность класса.

ProbabilityThresholdAttribute -> (двойное)

Порог для вероятности класса, чтобы результат считался положительным.

StartTimeOffset -> (строка)

EndTimeOffset -> (строка)

ExcludeFeaturesAttribute -> (строка)

Атрибуты входных данных, которые нужно исключить из анализа.

Синтаксис JSON:

{
  "EndpointInput": {
    "EndpointName": "string",
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  },
  "BatchTransformInput": {
    "DataCapturedDestinationS3Uri": "string",
    "DatasetFormat": {
      "Csv": {
        "Header": true|false
      },
      "Json": {
        "Line": true|false
      },
      "Parquet": {

      }
    },
    "LocalPath": "string",
    "S3InputMode": "Pipe"|"File",
    "S3DataDistributionType": "FullyReplicated"|"ShardedByS3Key",
    "FeaturesAttribute": "string",
    "InferenceAttribute": "string",
    "ProbabilityAttribute": "string",
    "ProbabilityThresholdAttribute": double,
    "StartTimeOffset": "string",
    "EndTimeOffset": "string",
    "ExcludeFeaturesAttribute": "string"
  }
}

--data-quality-job-output-config (структура)

Настройка вывода для заданий мониторинга.

MonitoringOutputs -> (список)

Выходные данные мониторинга для заданий мониторинга. Именно сюда загружаются результаты периодических заданий мониторинга.

(структура)

Объект вывода для задания мониторинга.

S3Output -> (структура)

Место хранения Amazon S3, в которое сохраняются результаты задания мониторинга.

S3Uri -> (строка)

URI, определяющий место хранения Amazon S3, где Amazon SageMaker AI сохраняет результаты задания мониторинга.

LocalPath -> (строка)

Локальный путь к расположению Amazon S3, где Amazon SageMaker AI сохраняет результаты задания мониторинга. LocalPath — это абсолютный путь к выходным данным.

S3UploadMode -> (строка)

Загружать результаты задания мониторинга непрерывно или после завершения задания?

KmsKeyId -> (строка)

Ключ управления ключами (KMS), который Amazon SageMaker AI использует для шифрования артефактов модели в состоянии покоя с использованием шифрования Amazon S3 на стороне сервера.

Синтаксис JSON:

{
  "MonitoringOutputs": [
    {
      "S3Output": {
        "S3Uri": "string",
        "LocalPath": "string",
        "S3UploadMode": "Continuous"|"EndOfJob"
      }
    }
    ...
  ],
  "KmsKeyId": "string"
}

--job-resources (структура)

Определяет ресурсы для развертывания для задания мониторинга.

ClusterConfig -> (структура)

Настройка ресурсов кластера, используемых для выполнения задания обработки.

InstanceCount -> (целое число)

Количество машин ML, которые нужно использовать в задании мониторинга модели. Для распределённых заданий обработки укажите значение больше 1. Значение по умолчанию — 1.

InstanceType -> (строка)

Тип машины ML для задания обработки.

VolumeSizeInGB -> (целое число)

Размер тома ML в гигабайтах, который вы хотите предоставить. Необходимо указать достаточный объём памяти ML для вашего сценария.

VolumeKmsKeyId -> (строка)

Ключ управления ключами (KMS), который Amazon SageMaker AI использует для шифрования данных на томе хранилища, подключенном к машине ML, на которой выполняется задание мониторинга модели.

Сокращённый синтаксис:

ClusterConfig={InstanceCount=integer,InstanceType=string,VolumeSizeInGB=integer,VolumeKmsKeyId=string}

Синтаксис JSON:

{
  "ClusterConfig": {
    "InstanceCount": integer,
    "InstanceType": "ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.8xlarge"|"ml.r5.12xlarge"|"ml.r5.16xlarge"|"ml.r5.24xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.16xlarge"|"ml.g5.12xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.8xlarge"|"ml.r5d.12xlarge"|"ml.r5d.16xlarge"|"ml.r5d.24xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge",
    "VolumeSizeInGB": integer,
    "VolumeKmsKeyId": "string"
  }
}

--network-config (структура)

Определяет конфигурацию сети для задания мониторинга.

EnableInterContainerTrafficEncryption -> (булево)

Шифровать ли все коммуникации между экземплярами, используемыми для заданий мониторинга? Выберите True для шифрования. Шифрование обеспечивает большую безопасность для распределённых заданий, но обработка может занять больше времени.

EnableNetworkIsolation -> (булево)

Разрешить ли входящие и исходящие сетевые вызовы к и из контейнеров, используемых для задания мониторинга?

VpcConfig -> (структура)

Указывает виртуальную частную сеть Amazon (VPC), к которой имеют доступ ваши задания SageMaker, размещённые модели и вычислительные ресурсы. Вы можете контролировать доступ к и из ваших ресурсов, настроив VPC. Дополнительную информацию см. в Give SageMaker Access to Resources in your Amazon VPC.

SecurityGroupIds -> (список)

ID групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

ID подсетей в VPC, к которым вы хотите подключить задание обучения или модель. Информацию о доступности определённых типов машин см. в Supported Instance Types and Availability Zones.

(строка)

Сокращённый синтаксис:

EnableInterContainerTrafficEncryption=boolean,EnableNetworkIsolation=boolean,VpcConfig={SecurityGroupIds=[string,string],Subnets=[string,string]}

Синтаксис JSON:

{
  "EnableInterContainerTrafficEncryption": true|false,
  "EnableNetworkIsolation": true|false,
  "VpcConfig": {
    "SecurityGroupIds": ["string", ...],
    "Subnets": ["string", ...]
  }
}

--role-arn (строка)

Amazon Resource Name (ARN) роли IAM, которую Amazon SageMaker AI может принять для выполнения задач от вашего имени.

--stopping-condition (структура)

Ограничение по времени выполнения задания мониторинга перед остановкой.

MaxRuntimeInSeconds -> (целое число)

Максимальное время выполнения в секундах.

Примечание

MaxRuntimeInSeconds не может превышать частоту выполнения задания. Для качества данных и объяснения моделей это может быть до 3600 секунд для ежечасового расписания. Для модели смещения и качества модели ежечасовые расписания могут быть до 1800 секунд.

Сокращённый синтаксис:

MaxRuntimeInSeconds=integer

Синтаксис JSON:

{
  "MaxRuntimeInSeconds": integer
}

--tags (список)

(Необязательно) Массив пар ключ-значение. Для получения дополнительной информации см. Использование тегов распределения затрат в руководстве пользователя Amazon Web Services по расходам и управлению затратами.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять теги к экземплярам блокнотов, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию об добавлении тегов к ресурсам SageMaker см. в AddTags.

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью тегов см. в Тегирование ресурсов Amazon Web Services. Советы по лучшим методам работы с ресурсами Amazon Web Services с помощью тегов см. в Лучшие методы работы с тегами: реализация эффективной стратегии тегирования ресурсов Amazon Web Services.

Ключ -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Значение -> (строка)

Значение тега.

Сокращённый синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения перепишут значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью предоставленного значения JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет напечатан пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команд и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (булево)

Включить отладочную запись журнала.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (булево)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для использования при фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/окружения.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

on
off
auto

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл с набором сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/окружения.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь ограничения по времени. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь ограничения по времени. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию — base64. Формат base64 предполагает, что двоичные блоки предоставляются как закодированная строка base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны передаваться буквально. При предоставлении содержимого файла, которое отображается как двоичный блок fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (булево)

Отключить пейджер cli для вывода.

--cli-auto-prompt (булево)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическое запросы параметров ввода CLI.

Вывод

JobDefinitionArn -> (строка)

Amazon Resource Name (ARN) определения задания.