create-endpoint-config

Описание

Создаёт конфигурацию конечной точки, которую SageMaker использует для развертывания моделей. В конфигурации вы указываете одну или несколько моделей, созданных с помощью API CreateModel, для развертывания и ресурсы, которые вы хотите, чтобы SageMaker предоставил. Затем вы вызываете API CreateEndpoint.

Примечание

Используйте этот API, если вы хотите использовать SageMaker hosting services для развертывания моделей в производство.

В запросе вы определяете ProductionVariant для каждой модели, которую хотите развернуть. Каждый параметр ProductionVariant также описывает ресурсы, которые вы хотите, чтобы SageMaker предоставил. Это включает количество и тип экземпляров вычислительных ресурсов ML для развертывания.

Если вы размещаете несколько моделей, вы также назначаете VariantWeight, чтобы указать, сколько трафика вы хотите направить на каждую модель. Например, предположим, что вы хотите разместить две модели, A и B, и вы назначаете весовой коэффициент трафика 2 для модели A и 1 для модели B. SageMaker распределяет две трети трафика модели A и одну треть модели B.

Примечание

При вызове CreateEndpoint выполняется вызов загрузки в DynamoDB для проверки существования вашей конфигурации конечной точки. При чтении данных из таблицы DynamoDB, поддерживающей ` Eventually Consistent Reads https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.ReadConsistency.html`__, ответ может не отражать результаты недавно завершённой операции записи. Ответ может содержать устаревшие данные. Если зависимые сущности ещё не находятся в DynamoDB, это приводит к ошибке проверки. Если вы повторите запрос на чтение через короткое время, ответ должен вернуть последние данные. Поэтому рекомендуется использовать логику повторных попыток для обработки этих возможных проблем. Мы также рекомендуем клиентам вызывать DescribeEndpointConfig перед вызовом CreateEndpoint, чтобы свести к минимуму потенциальное влияние несогласованного чтения DynamoDB.

См. также: Документация AWS API

Синтаксис

  create-endpoint-config
--endpoint-config-name <value>
--production-variants <value>
[--data-capture-config <value>]
[--tags <value>]
[--kms-key-id <value>]
[--async-inference-config <value>]
[--explainer-config <value>]
[--shadow-production-variants <value>]
[--execution-role-arn <value>]
[--vpc-config <value>]
[--enable-network-isolation | --no-enable-network-isolation]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--endpoint-config-name (строка)

Имя конфигурации конечной точки. Это имя вы указываете в запросе CreateEndpoint.

--production-variants (список)

Массив объектов ProductionVariant, по одному для каждой модели, которую вы хотите разместить в этой конечной точке.

(структура)

Идентифицирует модель, которую вы хотите разместить, и ресурсы, выбранные для её развертывания. Если вы развертываете несколько моделей, сообщите SageMaker, как распределять трафик между моделями, указав веса вариантов. Более подробную информацию о производственных вариантах см. в разделе Производственные варианты.

VariantName -> (строка)

Имя производственного варианта.

ModelName -> (строка)

Имя модели, которую вы хотите разместить. Это имя, которое вы указали при создании модели.

InitialInstanceCount -> (целое число)

Количество экземпляров, которые следует запустить изначально.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

InitialVariantWeight -> (вещественное число)

Определяет начальное распределение трафика между всеми моделями, которые вы указываете в конфигурации конечной точки. Трафик для производственного варианта определяется соотношением VariantWeight к сумме всех значений VariantWeight по всем ProductionVariants. Если не указано, по умолчанию значение равно 1,0.

AcceleratorType -> (строка)

Этот параметр больше не поддерживается. Ускорение с помощью Elastic Inference (EI) больше недоступно.

Этот параметр использовался для указания размера экземпляра EI, который нужно использовать для производственного варианта.

CoreDumpConfig -> (структура)

Указывает конфигурацию для дампа ядра из контейнера модели при сбое процесса.

DestinationS3Uri -> (строка)

Ведро Amazon S3 для отправки дампа ядра.

KmsKeyId -> (строка)

Ключ Amazon Web Services Key Management Service (Amazon Web Services KMS), который SageMaker использует для шифрования данных дампов ядра в состоянии покоя с использованием шифрования Amazon S3 на стороне сервера. KmsKeyId может иметь любой из следующих форматов:

// ID ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса Amazon (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса Amazon (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете ID ключа KMS или псевдоним вашего ключа KMS, роль выполнения SageMaker должна включать разрешения для вызова kms:Encrypt. Если вы не предоставите ID ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. SageMaker использует шифрование на стороне сервера с управляемыми ключами KMS для OutputDataConfig. Если вы используете политику ведра с разрешением s3:PutObject, которое разрешает только объекты с шифрованием на стороне сервера, установите ключ условия s3:x-amz-server-side-encryption в значение "aws:kms". Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в Руководстве разработчика Amazon Simple Storage Service.

Политика ключа KMS должна предоставлять разрешение IAM-роли, которую вы указываете в запросах CreateEndpoint и UpdateEndpoint. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в Руководстве разработчика Amazon Web Services Key Management Service.

ServerlessConfig -> (структура)

Конфигурация серверного приложения для конечной точки. Указывает конфигурацию серверной конечной точки вместо конфигурации конечной точки на основе экземпляров.

MemorySizeInMB -> (целое число)

Размер памяти вашей серверной конечной точки. Допустимые значения кратны 1 ГБ: 1024 МБ, 2048 МБ, 3072 МБ, 4096 МБ, 5120 МБ или 6144 МБ.

MaxConcurrency -> (целое число)

Максимальное количество одновременных вызовов, которые может обрабатывать ваша серверная конечная точка.

ProvisionedConcurrency -> (целое число)

Количество выделенной одновременности, которое следует выделить для серверной конечной точки. Должно быть меньше или равно MaxConcurrency.

Примечание

Этот параметр не поддерживается для рекомендаций серверных конечных точек для задач Inference Recommender. Дополнительную информацию о создании задачи Inference Recommender см. в разделе CreateInferenceRecommendationsJobs.

VolumeSizeInGB -> (целое число)

Размер хранилища ML в ГБ, подключенного к отдельному экземпляру инференции, связанному с производственным вариантом. В настоящее время поддерживаются только хранилища Amazon EBS gp2.

ModelDataDownloadTimeoutInSeconds -> (целое число)

Время ожидания в секундах для загрузки и извлечения модели, которую вы хотите разместить, из Amazon S3 на отдельный экземпляр инференции, связанный с этим производственным вариантом.

ContainerStartupHealthCheckTimeoutInSeconds -> (целое число)

Время ожидания в секундах для вашего контейнера инференции для прохождения проверки работоспособности SageMaker Hosting. Дополнительную информацию о проверке работоспособности см. в разделе Как ваш контейнер должен реагировать на запросы проверки работоспособности (пинга).

EnableSSMAccess -> (логическое значение)

Вы можете использовать этот параметр, чтобы включить прямой доступ к Amazon Web Services Systems Manager (SSM) для производственного варианта за конечной точкой. По умолчанию доступ SSM отключён для всех производственных вариантов за конечной точкой. Вы можете включить или отключить доступ SSM для производственного варианта за существующей конечной точкой, создав новую конфигурацию конечной точки и вызвав UpdateEndpoint.

ManagedInstanceScaling -> (структура)

Параметры, которые контролируют диапазон числа экземпляров, которые конечная точка предоставляет при масштабировании вверх или вниз, чтобы справиться с трафиком.

Status -> (строка)

Указывает, включено ли управляемое масштабирование экземпляров.

MinInstanceCount -> (целое число)

Минимальное количество экземпляров, которые конечная точка должна сохранить при масштабировании вниз для обработки уменьшения трафика.

MaxInstanceCount -> (целое число)

Максимальное количество экземпляров, которые конечная точка может предоставить при масштабировании вверх для обработки увеличения трафика.

RoutingConfig -> (структура)

Параметры, которые контролируют способ маршрутизации входящего трафика конечной точки к экземплярам, которые размещает конечная точка.

RoutingStrategy -> (строка)

Определяет способ маршрутизации входящего трафика конечной точки:

LEAST_OUTSTANDING_REQUESTS : Конечная точка маршрутизирует запросы к конкретным экземплярам, у которых больше ресурсов для их обработки.
RANDOM : Конечная точка маршрутизирует каждый запрос к случайному экземпляру.

InferenceAmiVersion -> (строка)

Указывает параметр из набора предварительно настроенных образов Amazon Machine Image (AMI). Каждый образ настроен Amazon Web Services с набором версий программного обеспечения и драйверов. Amazon Web Services оптимизирует эти конфигурации для различных рабочих нагрузок машинного обучения.

Выбрав версию AMI, вы можете убедиться, что ваша среда инференции совместима с конкретными требованиями программного обеспечения, такими как версии драйверов CUDA, версии ядра Linux или версии драйверов Amazon Web Services Neuron.

Следующие имена версий AMI и их конфигурации:

al2-ami-sagemaker-inference-gpu-2

Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2

al2-ami-sagemaker-inference-gpu-2-1
Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2
NVIDIA Container Toolkit с отключённым монтированием CUDA-совместимости

al2-ami-sagemaker-inference-gpu-3-1
Ускоритель: GPU
Версия драйвера NVIDIA: 550
Версия CUDA: 12.4
NVIDIA Container Toolkit с отключённым монтированием CUDA-совместимости

al2-ami-sagemaker-inference-neuron-2
Ускоритель: Inferentia2 и Trainium
Версия драйвера Neuron: 2.19

Укороченный синтаксис:

VariantName=string,ModelName=string,InitialInstanceCount=integer,InstanceType=string,InitialVariantWeight=float,AcceleratorType=string,CoreDumpConfig={DestinationS3Uri=string,KmsKeyId=string},ServerlessConfig={MemorySizeInMB=integer,MaxConcurrency=integer,ProvisionedConcurrency=integer},VolumeSizeInGB=integer,ModelDataDownloadTimeoutInSeconds=integer,ContainerStartupHealthCheckTimeoutInSeconds=integer,EnableSSMAccess=boolean,ManagedInstanceScaling={Status=string,MinInstanceCount=integer,MaxInstanceCount=integer},RoutingConfig={RoutingStrategy=string},InferenceAmiVersion=string ...

Синтаксис JSON:

[
  {
    "VariantName": "string",
    "ModelName": "string",
    "InitialInstanceCount": integer,
    "InstanceType": "ml.t2.medium"|"ml.t2.large"|"ml.t2.xlarge"|"ml.t2.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.m5d.large"|"ml.m5d.xlarge"|"ml.m5d.2xlarge"|"ml.m5d.4xlarge"|"ml.m5d.12xlarge"|"ml.m5d.24xlarge"|"ml.c4.large"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.large"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5d.large"|"ml.c5d.xlarge"|"ml.c5d.2xlarge"|"ml.c5d.4xlarge"|"ml.c5d.9xlarge"|"ml.c5d.18xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.12xlarge"|"ml.r5.24xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.12xlarge"|"ml.r5d.24xlarge"|"ml.inf1.xlarge"|"ml.inf1.2xlarge"|"ml.inf1.6xlarge"|"ml.inf1.24xlarge"|"ml.dl1.24xlarge"|"ml.c6i.large"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.r6i.large"|"ml.r6i.xlarge"|"ml.r6i.2xlarge"|"ml.r6i.4xlarge"|"ml.r6i.8xlarge"|"ml.r6i.12xlarge"|"ml.r6i.16xlarge"|"ml.r6i.24xlarge"|"ml.r6i.32xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.12xlarge"|"ml.g5.16xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.r8g.medium"|"ml.r8g.large"|"ml.r8g.xlarge"|"ml.r8g.2xlarge"|"ml.r8g.4xlarge"|"ml.r8g.8xlarge"|"ml.r8g.12xlarge"|"ml.r8g.16xlarge"|"ml.r8g.24xlarge"|"ml.r8g.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.p4d.24xlarge"|"ml.c7g.large"|"ml.c7g.xlarge"|"ml.c7g.2xlarge"|"ml.c7g.4xlarge"|"ml.c7g.8xlarge"|"ml.c7g.12xlarge"|"ml.c7g.16xlarge"|"ml.m6g.large"|"ml.m6g.xlarge"|"ml.m6g.2xlarge"|"ml.m6g.4xlarge"|"ml.m6g.8xlarge"|"ml.m6g.12xlarge"|"ml.m6g.16xlarge"|"ml.m6gd.large"|"ml.m6gd.xlarge"|"ml.m6gd.2xlarge"|"ml.m6gd.4xlarge"|"ml.m6gd.8xlarge"|"ml.m6gd.12xlarge"|"ml.m6gd.16xlarge"|"ml.c6g.large"|"ml.c6g.xlarge"|"ml.c6g.2xlarge"|"ml.c6g.4xlarge"|"ml.c6g.8xlarge"|"ml.c6g.12xlarge"|"ml.c6g.16xlarge"|"ml.c6gd.large"|"ml.c6gd.xlarge"|"ml.c6gd.2xlarge"|"ml.c6gd.4xlarge"|"ml.c6gd.8xlarge"|"ml.c6gd.12xlarge"|"ml.c6gd.16xlarge"|"ml.c6gn.large"|"ml.c6gn.xlarge"|"ml.c6gn.2xlarge"|"ml.c6gn.4xlarge"|"ml.c6gn.8xlarge"|"ml.c6gn.12xlarge"|"ml.c6gn.16xlarge"|"ml.r6g.large"|"ml.r6g.xlarge"|"ml.r6g.2xlarge"|"ml.r6g.4xlarge"|"ml.r6g.8xlarge"|"ml.r6g.12xlarge"|"ml.r6g.16xlarge"|"ml.r6gd.large"|"ml.r6gd.xlarge"|"ml.r6gd.2xlarge"|"ml.r6gd.4xlarge"|"ml.r6gd.8xlarge"|"ml.r6gd.12xlarge"|"ml.r6gd.16xlarge"|"ml.p4de.24xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.inf2.xlarge"|"ml.inf2.8xlarge"|"ml.inf2.24xlarge"|"ml.inf2.48xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.m7i.large"|"ml.m7i.xlarge"|"ml.m7i.2xlarge"|"ml.m7i.4xlarge"|"ml.m7i.8xlarge"|"ml.m7i.12xlarge"|"ml.m7i.16xlarge"|"ml.m7i.24xlarge"|"ml.m7i.48xlarge"|"ml.c7i.large"|"ml.c7i.xlarge"|"ml.c7i.2xlarge"|"ml.c7i.4xlarge"|"ml.c7i.8xlarge"|"ml.c7i.12xlarge"|"ml.c7i.16xlarge"|"ml.c7i.24xlarge"|"ml.c7i.48xlarge"|"ml.r7i.large"|"ml.r7i.xlarge"|"ml.r7i.2xlarge"|"ml.r7i.4xlarge"|"ml.r7i.8xlarge"|"ml.r7i.12xlarge"|"ml.r7i.16xlarge"|"ml.r7i.24xlarge"|"ml.r7i.48xlarge",
    "InitialVariantWeight": float,
    "AcceleratorType": "ml.eia1.medium"|"ml.eia1.large"|"ml.eia1.xlarge"|"ml.eia2.medium"|"ml.eia2.large"|"ml.eia2.xlarge",
    "CoreDumpConfig": {
      "DestinationS3Uri": "string",
      "KmsKeyId": "string"
    },
    "ServerlessConfig": {
      "MemorySizeInMB": integer,
      "MaxConcurrency": integer,
      "ProvisionedConcurrency": integer
    },
    "VolumeSizeInGB": integer,
    "ModelDataDownloadTimeoutInSeconds": integer,
    "ContainerStartupHealthCheckTimeoutInSeconds": integer,
    "EnableSSMAccess": true|false,
    "ManagedInstanceScaling": {
      "Status": "ENABLED"|"DISABLED",
      "MinInstanceCount": integer,
      "MaxInstanceCount": integer
    },
    "RoutingConfig": {
      "RoutingStrategy": "LEAST_OUTSTANDING_REQUESTS"|"RANDOM"
    },
    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2"|"al2-ami-sagemaker-inference-gpu-2-1"|"al2-ami-sagemaker-inference-gpu-3-1"|"al2-ami-sagemaker-inference-neuron-2"
  }
  ...
]

--data-capture-config (структура)

Конфигурация для управления тем, как SageMaker AI собирает данные инференции.

EnableCapture -> (логическое значение)

Включить или отключить сбор данных (по умолчанию включено).

InitialSamplingPercentage -> (целое число)

Процент запросов, которые SageMaker AI соберет. Для конечных точек с высоким трафиком рекомендуется меньшее значение.

DestinationS3Uri -> (строка)

Расположение Amazon S3 для сбора данных.

KmsKeyId -> (строка)

Имя ресурса Amazon (ARN) ключа Key Management Service, который SageMaker AI использует для шифрования собранных данных в состоянии покоя с использованием шифрования Amazon S3 на стороне сервера.

KmsKeyId может иметь любой из следующих форматов:

ID ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

CaptureOptions -> (список)

Указывает данные, которые Model Monitor будет собирать. Можно настроить сбор только входных данных, только выходных данных или обоих.

(структура)

Указывает данные, которые Model Monitor будет собирать.

CaptureMode -> (строка)

Укажите границы собираемых данных.

CaptureContentTypeHeader -> (структура)

Конфигурация, указывающая, как обрабатывать различные заголовки. Если заголовки не указаны, SageMaker AI по умолчанию будет кодировать данные в base64 при сборе данных.

CsvContentTypes -> (список)

Список всех заголовков типов содержимого, которые Amazon SageMaker AI будет обрабатывать как CSV и собирать соответственно.

(строка)

JsonContentTypes -> (список)

Список всех заголовков типов содержимого, которые SageMaker AI будет обрабатывать как JSON и собирать соответственно.

(строка)

Укороченный синтаксис:

EnableCapture=boolean,InitialSamplingPercentage=integer,DestinationS3Uri=string,KmsKeyId=string,CaptureOptions=[{CaptureMode=string},{CaptureMode=string}],CaptureContentTypeHeader={CsvContentTypes=[string,string],JsonContentTypes=[string,string]}

Синтаксис JSON:

{
  "EnableCapture": true|false,
  "InitialSamplingPercentage": integer,
  "DestinationS3Uri": "string",
  "KmsKeyId": "string",
  "CaptureOptions": [
    {
      "CaptureMode": "Input"|"Output"|"InputAndOutput"
    }
    ...
  ],
  "CaptureContentTypeHeader": {
    "CsvContentTypes": ["string", ...],
    "JsonContentTypes": ["string", ...]
  }
}

--tags (список)

Массив пар ключ-значение. Вы можете использовать теги для категоризации ваших ресурсов Amazon Web Services различными способами, например, по назначению, владельцу или среде. Дополнительную информацию см. в разделе Тегирование ресурсов Amazon Web Services.

(структура)

Объект тега, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять теги к экземплярам ноутбуков, заданиям обучения, заданиям настройки гиперпараметров, заданиям пакетного преобразования, моделям, заданиям маркировки, рабочим командам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию об добавлении тегов к ресурсам SageMaker см. в разделе Добавление тегов.

Дополнительную информацию о добавлении метаданных к вашим ресурсам Amazon Web Services с помощью тегов см. в разделе Тегирование ресурсов Amazon Web Services. Советы по лучшим практикам управления ресурсами Amazon Web Services с помощью тегов см. в разделе Примеры наилучших практик: реализуйте эффективную стратегию тегирования ресурсов Amazon Web Services.

Ключ -> (строка)

Ключ тега. Ключи тегов должны быть уникальными для каждого ресурса.

Значение -> (строка)

Значение тега.

Сокращённый синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--kms-key-id (строка)

Amazon Resource Name (ARN) ключа Amazon Web Services Key Management Service, который SageMaker использует для шифрования данных на томе хранения, подключенном к экземпляру вычислительных ресурсов ML, на котором размещается конечная точка.

KmsKeyId может иметь любой из следующих форматов:

Идентификатор ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

Политика ключа KMS должна предоставлять разрешения роли IAM, которую вы указали в вашей CreateEndpoint, запросах UpdateEndpoint. Для получения дополнительной информации обратитесь к разделу Amazon Web Services Key Management Service раздела `Использование политик ключей в Amazon Web Services KMS <https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html>`__

Примечание

Некоторые экземпляры на базе Nitro включают локальное хранилище, в зависимости от типа экземпляра. Локальные тома хранения шифруются с помощью аппаратного модуля на экземпляре. Вы не можете запросить KmsKeyId при использовании типа экземпляра с локальным хранилищем. Если какие-либо модели, которые вы указали в параметре ProductionVariants, используют экземпляры на базе Nitro с локальным хранилищем, не указывайте значение для параметра KmsKeyId. Если вы укажете значение для KmsKeyId при использовании любых экземпляров на базе Nitro с локальным хранилищем, вызов CreateEndpointConfig завершится ошибкой.

Список типов экземпляров, которые поддерживают локальное хранилище экземпляра, см. в разделе Тома локального хранилища.

Дополнительную информацию о шифровании локального хранилища экземпляра см. в разделе SSD-тома локального хранилища.

--async-inference-config (структура)

Указывает конфигурацию для того, как конечная точка выполняет асинхронное прогнозирование. Это обязательное поле для того, чтобы вашу конечную точку можно было вызывать с помощью InvokeEndpointAsync.

ClientConfig -> (структура)

Настраивает поведение клиента, используемого SageMaker для взаимодействия с контейнером модели во время асинхронного прогнозирования.

MaxConcurrentInvocationsPerInstance -> (целое число)

Максимальное количество одновременных запросов, отправленных клиентом SageMaker в контейнер модели. Если значение не указано, SageMaker выбирает оптимальное значение.

OutputConfig -> (структура)

Указывает конфигурацию для вывода асинхронного вызова прогнозирования.

KmsKeyId -> (строка)

Ключ Amazon Web Services Key Management Service (Amazon Web Services KMS), который SageMaker использует для шифрования выходных данных асинхронного прогнозирования в Amazon S3.

S3OutputPath -> (строка)

Расположение Amazon S3 для загрузки ответов прогнозирования.

NotificationConfig -> (структура)

Указывает конфигурацию для уведомлений об результатах прогнозирования для асинхронного прогнозирования.

SuccessTopic -> (строка)

Тема Amazon SNS для отправки уведомления при успешном завершении прогнозирования. Если тема не указана, уведомление об успехе не отправляется.

ErrorTopic -> (строка)

Тема Amazon SNS для отправки уведомления при ошибке прогнозирования. Если тема не указана, уведомление об ошибке не отправляется.

IncludeInferenceResponseIn -> (список)

Темы Amazon SNS, в которые нужно включить ответ прогнозирования.

Примечание

Ответ прогнозирования включается только в том случае, если размер ответа меньше или равен 128 КБ.

(строка)

S3FailurePath -> (строка)

Расположение Amazon S3 для загрузки ответов об ошибках прогнозирования.

Синтаксис JSON:

{
  "ClientConfig": {
    "MaxConcurrentInvocationsPerInstance": integer
  },
  "OutputConfig": {
    "KmsKeyId": "string",
    "S3OutputPath": "string",
    "NotificationConfig": {
      "SuccessTopic": "string",
      "ErrorTopic": "string",
      "IncludeInferenceResponseIn": ["SUCCESS_NOTIFICATION_TOPIC"|"ERROR_NOTIFICATION_TOPIC", ...]
    },
    "S3FailurePath": "string"
  }
}

--explainer-config (структура)

Член CreateEndpointConfig, который включает объяснители.

ClarifyExplainerConfig -> (структура)

Член ExplainerConfig, содержащий параметры конфигурации для объяснителей SageMaker Clarify.

EnableExplanations -> (строка)

Булево выражение JMESPath, используемое для фильтрации записей, которые необходимо объяснить. Объяснения активированы по умолчанию. Дополнительная информация представлена в ` EnableExplanations https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-online-explainability-create-endpoint.html#clarify-online-explainability-create-endpoint-enable`__.

InferenceConfig -> (структура)

Параметр конфигурации вывода для контейнера модели.

FeaturesAttribute -> (строка)

Предоставляет выражение JMESPath для извлечения признаков из входных данных контейнера модели в формате JSON Lines. Например, если FeaturesAttribute - выражение JMESPath 'myfeatures', оно извлекает список признаков [1,2,3] из данных запроса '{"myfeatures":[1,2,3]}'.

ContentTemplate -> (строка)

Строковая шаблон, используемый для форматирования JSON-записи в приемлемый для контейнера модели вход. Например, строка ContentTemplate '{"myfeatures":$features}' отформатирует список признаков [1,2,3] в строку записи '{"myfeatures":[1,2,3]}'. Требуется только в случае, если входные данные контейнера модели находятся в формате JSON Lines.

MaxRecordCount -> (целое число)

Максимальное количество записей в запросе, которое контейнер модели может обработать при запросе прогнозов синтетического набора данных. Запись — это единица входных данных, по которым можно сделать вывод, например, одна строка в данных CSV. Если MaxRecordCount равно 1, контейнер модели ожидает одну запись на запрос. Значение 2 или больше означает, что контейнер модели ожидает пакетные запросы, что может уменьшить нагрузку и ускорить процесс вывода. Если этот параметр не указан, объясняющий будет настраивать количество записей на запрос в соответствии с возможностями контейнера модели во время выполнения.

MaxPayloadInMB -> (целое число)

Максимальный размер полезной нагрузки (МБ) запроса от объяснителей в контейнер модели. По умолчанию 6 МБ.

ProbabilityIndex -> (целое число)

Индекс, начинающийся с нуля, используемый для извлечения значения вероятности (оценки) или списка из выходных данных контейнера модели в формате CSV. Если это значение не указано, все выходные данные контейнера модели будут рассматриваться как значение вероятности (оценка) или список.

Пример для модели с одним классом: Если выходные данные контейнера модели состоят из строкового предсказания метки, за которым следует его вероятность: '1,0.6', установите ProbabilityIndex на 1, чтобы выбрать значение вероятности 0.6.

Пример для многоклассовой модели: Если выходные данные контейнера модели состоят из строкового предсказания метки, за которым следует его вероятность: '"[\'cat\',\'dog\',\'fish\']","[0.1,0.6,0.3]"', установите ProbabilityIndex на 1, чтобы выбрать значения вероятности [0.1,0.6,0.3].

LabelIndex -> (целое число)

Индекс, начинающийся с нуля, используемый для извлечения заголовка метки или списка заголовков меток из выходных данных контейнера модели в формате CSV.

Пример для многоклассовой модели: Если выходные данные контейнера модели состоят из заголовков меток, за которыми следуют вероятности: '"[\'cat\',\'dog\',\'fish\']","[0.1,0.6,0.3]"', установите LabelIndex на 0, чтобы выбрать заголовки меток ['cat','dog','fish'].

ProbabilityAttribute -> (строка)

Выражение JMESPath, используемое для извлечения вероятности (или оценки) из выходных данных контейнера модели, если контейнер модели находится в формате JSON Lines.

Пример: Если выходные данные контейнера модели для одного запроса — '{"predicted_label":1,"probability":0.6}', то установите ProbabilityAttribute на 'probability'.

LabelAttribute -> (строка)

Выражение JMESPath, используемое для нахождения списка заголовков меток в выходных данных контейнера модели.

Пример: Если выходные данные контейнера модели для пакетного запроса — '{"labels":["cat","dog","fish"],"probability":[0.6,0.3,0.1]}', то установите LabelAttribute на 'labels', чтобы извлечь список заголовков меток ["cat","dog","fish"]

LabelHeaders -> (список)

Для многоклассовых задач классификации заголовки меток — это имена классов. В противном случае заголовок метки — это имя предсказанной метки. Они используются для повышения читаемости вывода API InvokeEndpoint. Дополнительная информация представлена в разделе ответа в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

FeatureHeaders -> (список)

Названия признаков. Если они указаны, они включаются в ответ конечной точки для повышения читаемости вывода InvokeEndpoint. Дополнительная информация представлена в разделе Ответ в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

FeatureTypes -> (список)

Список типов данных признаков (необязательно). Применимо только к объяснениям NLP. Если указаны, FeatureTypes должен содержать по крайней мере одну строку 'text' (например, ['text']). Если FeatureTypes не указан, объясняющий выводит типы признаков на основе исходных данных. Типы признаков включены в ответ конечной точки. Дополнительная информация представлена в разделе Ответ в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

ShapConfig -> (структура)

Конфигурация для анализа SHAP.

ShapBaselineConfig -> (структура)

Конфигурация для базовой линии SHAP алгоритма Kernal SHAP.

MimeType -> (строка)

Тип MIME базовых данных. Выберите из 'text/csv' или 'application/jsonlines'. По умолчанию 'text/csv'.

ShapBaseline -> (строка)

Встроенные базовые данные SHAP в строковом формате. ShapBaseline может содержать одну или несколько записей, используемых в качестве набора данных базовой линии. Формат файла базовой линии SHAP должен соответствовать формату набора данных обучения. Например, если набор данных обучения находится в формате CSV и каждая запись содержит четыре признака, а все признаки числовые, то формат базовых данных должен также соответствовать этим характеристикам. Для обработки естественного языка (NLP) текстовых столбцов значение базовой линии должно быть значением, используемым для замены единицы текста, заданной Granularity параметра TextConfig. Предельное значение размера для ShapBasline составляет 4 КБ. Используйте параметр ShapBaselineUri, если вы хотите предоставить больше 4 КБ базовых данных.

ShapBaselineUri -> (строка)

Указатель универсального ресурса (URI) ведра S3, где хранится файл базовой линии SHAP. Формат файла базовой линии SHAP должен соответствовать формату набора данных обучения. Например, если набор данных обучения находится в формате CSV, а каждая запись в обучающем наборе данных содержит четыре признака, и все признаки числовые, то файл базовой линии должен иметь тот же формат. Каждая запись должна содержать только признаки. Если вы используете виртуальную частную сеть (VPC), ShapBaselineUri должен быть доступен для VPC. Дополнительная информация о настройке конечных точек с Amazon Virtual Private Cloud приведена в разделе Надайте SageMaker доступ к ресурсам в вашей Amazon Virtual Private Cloud.

NumberOfSamples -> (целое число)

Количество выборок, используемых для анализа алгоритмом Kernal SHAP.

Примечание

Количество выборок определяет размер синтетического набора данных, что влияет на задержку запросов на объяснение. Дополнительная информация представлена в разделе Синтетические данные раздела Настройка и создание конечной точки.

UseLogit -> (логическое значение)

Логическое значение, указывающее, хотите ли вы использовать функцию логарифма (true) или единицы логарифмов (false) для прогнозов модели. По умолчанию false.

Seed -> (целое число)

Начальное значение, используемое для инициализации генератора случайных чисел в объяснении. Укажите значение для этого параметра, чтобы получить детерминированный результат SHAP.

TextConfig -> (структура)

Параметр, указывающий, рассматриваются ли текстовые признаки как текст и предоставляются ли объяснения для отдельных единиц текста. Требуется только для объяснения обработки естественного языка (NLP).

Language -> (строка)

Указывает язык текстовых признаков в коде `ISO 639-1 < https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes>`__ или ISO 639-3 поддерживаемого языка.

Примечание

Для смешения нескольких языков используйте код 'xx'.

Granularity -> (строка)

Единица детализации для анализа текстовых признаков. Например, если единицей является 'token', то каждый токен (например, слово в английском языке) текста рассматривается как признак. Значения SHAP вычисляются для каждой единицы/признака.

Синтаксис JSON:

{
  "ClarifyExplainerConfig": {
    "EnableExplanations": "string",
    "InferenceConfig": {
      "FeaturesAttribute": "string",
      "ContentTemplate": "string",
      "MaxRecordCount": integer,
      "MaxPayloadInMB": integer,
      "ProbabilityIndex": integer,
      "LabelIndex": integer,
      "ProbabilityAttribute": "string",
      "LabelAttribute": "string",
      "LabelHeaders": ["string", ...],
      "FeatureHeaders": ["string", ...],
      "FeatureTypes": ["numerical"|"categorical"|"text", ...]
    },
    "ShapConfig": {
      "ShapBaselineConfig": {
        "MimeType": "string",
        "ShapBaseline": "string",
        "ShapBaselineUri": "string"
      },
      "NumberOfSamples": integer,
      "UseLogit": true|false,
      "Seed": integer,
      "TextConfig": {
        "Language": "af"|"sq"|"ar"|"hy"|"eu"|"bn"|"bg"|"ca"|"zh"|"hr"|"cs"|"da"|"nl"|"en"|"et"|"fi"|"fr"|"de"|"el"|"gu"|"he"|"hi"|"hu"|"is"|"id"|"ga"|"it"|"kn"|"ky"|"lv"|"lt"|"lb"|"mk"|"ml"|"mr"|"ne"|"nb"|"fa"|"pl"|"pt"|"ro"|"ru"|"sa"|"sr"|"tn"|"si"|"sk"|"sl"|"es"|"sv"|"tl"|"ta"|"tt"|"te"|"tr"|"uk"|"ur"|"yo"|"lij"|"xx",
        "Granularity": "token"|"sentence"|"paragraph"
      }
    }
  }
}

--shadow-production-variants (список)

Массив объектов ProductionVariant, по одному для каждой модели, которую вы хотите разместить на этом конечной точке в режиме тени с реплицированным производственным трафиком из модели, указанной в поле ProductionVariants. Если вы используете это поле, вы можете указать только одну вариацию для ProductionVariants и одну вариацию для ShadowProductionVariants.

(структура)

Идентифицирует модель, которую вы хотите разместить, и ресурсы, выбранные для её развертывания. Если вы развертываете несколько моделей, укажите SageMaker, как распределить трафик между моделями, указав веса вариантов. Дополнительную информацию о производственных вариантах см. в разделе Производственные варианты.

VariantName -> (строка)

Название производственного варианта.

ModelName -> (строка)

Имя модели, которую вы хотите разместить. Это имя, которое вы указали при создании модели.

InitialInstanceCount -> (целое число)

Количество экземпляров, которые нужно запустить изначально.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

InitialVariantWeight -> (число с плавающей точкой)

AcceleratorType -> (строка)

Этот параметр больше не поддерживается. Ускоренное вычисление (EI) больше недоступно.

CoreDumpConfig -> (структура)

Указывает конфигурацию дампов ядра из контейнера модели при аварии процесса.

DestinationS3Uri -> (строка)

Ведро Amazon S3 для отправки дампов ядра.

KmsKeyId -> (строка)

Ключ службы управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных дампов ядра в состоянии покоя с помощью шифрования на стороне сервера Amazon S3. KmsKeyId может быть в одном из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса Amazon (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса Amazon (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения для вызова kms:Encrypt. Если вы не предоставляете идентификатор ключа KMS, SageMaker использует ключ KMS по умолчанию для Amazon S3 для учетной записи вашей роли. SageMaker использует шифрование на стороне сервера с управляемыми ключами KMS для OutputDataConfig. Если вы используете политику ведра с разрешением s3:PutObject, которое разрешает только объекты с шифрованием на стороне сервера, установите ключ условия для s3:x-amz-server-side-encryption в значение "aws:kms". Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в Руководстве разработчика Amazon Simple Storage Service.

ServerlessConfig -> (структура)

MemorySizeInMB -> (целое число)

MaxConcurrency -> (целое число)

Максимальное количество одновременных вызовов, которые может обработать ваша серверная конечная точка.

ProvisionedConcurrency -> (целое число)

Количество выделенного конкурентного исполнения для выделения для серверной конечной точки. Должно быть меньше или равно MaxConcurrency.

Примечание

Это поле не поддерживается для рекомендаций по серверным конечным точкам для задач Inference Recommender. Дополнительную информацию о создании задачи Inference Recommender см. в разделе CreateInferenceRecommendationsJobs.

VolumeSizeInGB -> (целое число)

Размер ML-хранилища в ГБ, подключенного к отдельным экземплярам инференции, связанным с производственным вариантом. В настоящее время поддерживаются только хранилища Amazon EBS gp2.

ModelDataDownloadTimeoutInSeconds -> (целое число)

Время ожидания в секундах для загрузки и извлечения модели, которую вы хотите разместить из Amazon S3, в отдельный экземпляр инференции, связанный с этим производственным вариантом.

ContainerStartupHealthCheckTimeoutInSeconds -> (целое число)

Время ожидания в секундах для вашего контейнера инференции, чтобы пройти проверку состояния SageMaker Hosting. Дополнительную информацию о проверке состояния см. в разделе Как ваш контейнер должен реагировать на запросы проверки состояния (пинга).

EnableSSMAccess -> (булево)

Вы можете использовать этот параметр, чтобы включить доступ к Amazon Web Services Systems Manager (SSM) для производственного варианта за конечной точкой. По умолчанию доступ SSM для всех производственных вариантов за конечной точкой отключен. Вы можете включить или отключить доступ SSM для производственного варианта за существующей конечной точкой, создав новую конфигурацию конечной точки и вызвав UpdateEndpoint.

ManagedInstanceScaling -> (структура)

Настройки, которые управляют диапазоном количества экземпляров, которые конечная точка выделяет при масштабировании вверх или вниз для адаптации к трафику.

Status -> (строка)

Указывает, включено ли управляемое масштабирование экземпляров.

MinInstanceCount -> (целое число)

Минимальное количество экземпляров, которое конечная точка должна сохранить при масштабировании вниз для адаптации к снижению трафика.

MaxInstanceCount -> (целое число)

Максимальное количество экземпляров, которые конечная точка может выделить при масштабировании вверх для адаптации к увеличению трафика.

RoutingConfig -> (структура)

Настройки, которые управляют тем, как конечная точка направляет входящий трафик на экземпляры, которые она размещает.

RoutingStrategy -> (строка)

Устанавливает способ маршрутизации конечной точкой входящего трафика:

LEAST_OUTSTANDING_REQUESTS: конечная точка направляет запросы на конкретные экземпляры, которые имеют больше возможностей для их обработки.
RANDOM: конечная точка направляет каждый запрос на случайный выбранный экземпляр.

InferenceAmiVersion -> (строка)

Указывает вариант из набора предварительно настроенных образов Amazon Machine Image (AMI). Каждый образ настраивается Amazon Web Services с набором версий программного обеспечения и драйверов. Amazon Web Services оптимизирует эти конфигурации для различных рабочих нагрузок машинного обучения.

Выбрав версию AMI, вы можете гарантировать, что ваша среда инференции совместима с определёнными требованиями к программному обеспечению, такими как версии драйверов CUDA, версии ядра Linux или версии драйверов Amazon Web Services Neuron.

Следующие варианты AMI, и их конфигурации:

al2-ami-sagemaker-inference-gpu-2

Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2

al2-ami-sagemaker-inference-gpu-2-1
Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2
NVIDIA Container Toolkit с отключённой монтировкой CUDA-совместимости

al2-ami-sagemaker-inference-gpu-3-1
Ускоритель: GPU
Версия драйвера NVIDIA: 550
Версия CUDA: 12.4
NVIDIA Container Toolkit с отключённой монтировкой CUDA-совместимости

al2-ami-sagemaker-inference-neuron-2
Ускоритель: Inferentia2 и Trainium
Версия драйвера Neuron: 2.19

Краткая запись:

VariantName=string,ModelName=string,InitialInstanceCount=integer,InstanceType=string,InitialVariantWeight=float,AcceleratorType=string,CoreDumpConfig={DestinationS3Uri=string,KmsKeyId=string},ServerlessConfig={MemorySizeInMB=integer,MaxConcurrency=integer,ProvisionedConcurrency=integer},VolumeSizeInGB=integer,ModelDataDownloadTimeoutInSeconds=integer,ContainerStartupHealthCheckTimeoutInSeconds=integer,EnableSSMAccess=boolean,ManagedInstanceScaling={Status=string,MinInstanceCount=integer,MaxInstanceCount=integer},RoutingConfig={RoutingStrategy=string},InferenceAmiVersion=string ...

JSON-синтаксис:

[
  {
    "VariantName": "string",
    "ModelName": "string",
    "InitialInstanceCount": integer,
    "InstanceType": "ml.t2.medium"|"ml.t2.large"|"ml.t2.xlarge"|"ml.t2.2xlarge"|"ml.m4.xlarge"|"ml.m4.2xlarge"|"ml.m4.4xlarge"|"ml.m4.10xlarge"|"ml.m4.16xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.12xlarge"|"ml.m5.24xlarge"|"ml.m5d.large"|"ml.m5d.xlarge"|"ml.m5d.2xlarge"|"ml.m5d.4xlarge"|"ml.m5d.12xlarge"|"ml.m5d.24xlarge"|"ml.c4.large"|"ml.c4.xlarge"|"ml.c4.2xlarge"|"ml.c4.4xlarge"|"ml.c4.8xlarge"|"ml.p2.xlarge"|"ml.p2.8xlarge"|"ml.p2.16xlarge"|"ml.p3.2xlarge"|"ml.p3.8xlarge"|"ml.p3.16xlarge"|"ml.c5.large"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.18xlarge"|"ml.c5d.large"|"ml.c5d.xlarge"|"ml.c5d.2xlarge"|"ml.c5d.4xlarge"|"ml.c5d.9xlarge"|"ml.c5d.18xlarge"|"ml.g4dn.xlarge"|"ml.g4dn.2xlarge"|"ml.g4dn.4xlarge"|"ml.g4dn.8xlarge"|"ml.g4dn.12xlarge"|"ml.g4dn.16xlarge"|"ml.r5.large"|"ml.r5.xlarge"|"ml.r5.2xlarge"|"ml.r5.4xlarge"|"ml.r5.12xlarge"|"ml.r5.24xlarge"|"ml.r5d.large"|"ml.r5d.xlarge"|"ml.r5d.2xlarge"|"ml.r5d.4xlarge"|"ml.r5d.12xlarge"|"ml.r5d.24xlarge"|"ml.inf1.xlarge"|"ml.inf1.2xlarge"|"ml.inf1.6xlarge"|"ml.inf1.24xlarge"|"ml.dl1.24xlarge"|"ml.c6i.large"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.r6i.large"|"ml.r6i.xlarge"|"ml.r6i.2xlarge"|"ml.r6i.4xlarge"|"ml.r6i.8xlarge"|"ml.r6i.12xlarge"|"ml.r6i.16xlarge"|"ml.r6i.24xlarge"|"ml.r6i.32xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.12xlarge"|"ml.g5.16xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.12xlarge"|"ml.g6.16xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.r8g.medium"|"ml.r8g.large"|"ml.r8g.xlarge"|"ml.r8g.2xlarge"|"ml.r8g.4xlarge"|"ml.r8g.8xlarge"|"ml.r8g.12xlarge"|"ml.r8g.16xlarge"|"ml.r8g.24xlarge"|"ml.r8g.48xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.12xlarge"|"ml.g6e.16xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.p4d.24xlarge"|"ml.c7g.large"|"ml.c7g.xlarge"|"ml.c7g.2xlarge"|"ml.c7g.4xlarge"|"ml.c7g.8xlarge"|"ml.c7g.12xlarge"|"ml.c7g.16xlarge"|"ml.m6g.large"|"ml.m6g.xlarge"|"ml.m6g.2xlarge"|"ml.m6g.4xlarge"|"ml.m6g.8xlarge"|"ml.m6g.12xlarge"|"ml.m6g.16xlarge"|"ml.m6gd.large"|"ml.m6gd.xlarge"|"ml.m6gd.2xlarge"|"ml.m6gd.4xlarge"|"ml.m6gd.8xlarge"|"ml.m6gd.12xlarge"|"ml.m6gd.16xlarge"|"ml.c6g.large"|"ml.c6g.xlarge"|"ml.c6g.2xlarge"|"ml.c6g.4xlarge"|"ml.c6g.8xlarge"|"ml.c6g.12xlarge"|"ml.c6g.16xlarge"|"ml.c6gd.large"|"ml.c6gd.xlarge"|"ml.c6gd.2xlarge"|"ml.c6gd.4xlarge"|"ml.c6gd.8xlarge"|"ml.c6gd.12xlarge"|"ml.c6gd.16xlarge"|"ml.c6gn.large"|"ml.c6gn.xlarge"|"ml.c6gn.2xlarge"|"ml.c6gn.4xlarge"|"ml.c6gn.8xlarge"|"ml.c6gn.12xlarge"|"ml.c6gn.16xlarge"|"ml.r6g.large"|"ml.r6g.xlarge"|"ml.r6g.2xlarge"|"ml.r6g.4xlarge"|"ml.r6g.8xlarge"|"ml.r6g.12xlarge"|"ml.r6g.16xlarge"|"ml.r6gd.large"|"ml.r6gd.xlarge"|"ml.r6gd.2xlarge"|"ml.r6gd.4xlarge"|"ml.r6gd.8xlarge"|"ml.r6gd.12xlarge"|"ml.r6gd.16xlarge"|"ml.p4de.24xlarge"|"ml.trn1.2xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.trn2.48xlarge"|"ml.inf2.xlarge"|"ml.inf2.8xlarge"|"ml.inf2.24xlarge"|"ml.inf2.48xlarge"|"ml.p5.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.m7i.large"|"ml.m7i.xlarge"|"ml.m7i.2xlarge"|"ml.m7i.4xlarge"|"ml.m7i.8xlarge"|"ml.m7i.12xlarge"|"ml.m7i.16xlarge"|"ml.m7i.24xlarge"|"ml.m7i.48xlarge"|"ml.c7i.large"|"ml.c7i.xlarge"|"ml.c7i.2xlarge"|"ml.c7i.4xlarge"|"ml.c7i.8xlarge"|"ml.c7i.12xlarge"|"ml.c7i.16xlarge"|"ml.c7i.24xlarge"|"ml.c7i.48xlarge"|"ml.r7i.large"|"ml.r7i.xlarge"|"ml.r7i.2xlarge"|"ml.r7i.4xlarge"|"ml.r7i.8xlarge"|"ml.r7i.12xlarge"|"ml.r7i.16xlarge"|"ml.r7i.24xlarge"|"ml.r7i.48xlarge",
    "InitialVariantWeight": float,
    "AcceleratorType": "ml.eia1.medium"|"ml.eia1.large"|"ml.eia1.xlarge"|"ml.eia2.medium"|"ml.eia2.large"|"ml.eia2.xlarge",
    "CoreDumpConfig": {
      "DestinationS3Uri": "string",
      "KmsKeyId": "string"
    },
    "ServerlessConfig": {
      "MemorySizeInMB": integer,
      "MaxConcurrency": integer,
      "ProvisionedConcurrency": integer
    },
    "VolumeSizeInGB": integer,
    "ModelDataDownloadTimeoutInSeconds": integer,
    "ContainerStartupHealthCheckTimeoutInSeconds": integer,
    "EnableSSMAccess": true|false,
    "ManagedInstanceScaling": {
      "Status": "ENABLED"|"DISABLED",
      "MinInstanceCount": integer,
      "MaxInstanceCount": integer
    },
    "RoutingConfig": {
      "RoutingStrategy": "LEAST_OUTSTANDING_REQUESTS"|"RANDOM"
    },
    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2"|"al2-ami-sagemaker-inference-gpu-2-1"|"al2-ami-sagemaker-inference-gpu-3-1"|"al2-ami-sagemaker-inference-neuron-2"
  }
  ...
]

--execution-role-arn (строка)

Имя ресурса Amazon (ARN) IAM-роли, которую Amazon SageMaker AI может принять для выполнения действий от вашего имени. Дополнительную информацию см. в разделе SageMaker AI Roles.

Примечание

Для передачи этой роли в Amazon SageMaker AI, вызывающий данное действие должен иметь разрешение iam:PassRole.

--vpc-config (структура)

Указывает виртуальную частную сеть Amazon (Amazon Virtual Private Cloud, VPC), к которой имеют доступ ваши задания SageMaker, размещённые модели и вычислительные ресурсы. Вы можете управлять доступом к ресурсам и из них, настроив VPC. Дополнительную информацию см. в разделе Предоставление SageMaker доступа к ресурсам в вашей VPC Amazon.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить работу обучения или модель. Дополнительную информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

Краткая запись:

SecurityGroupIds=string,string,Subnets=string,string

JSON-синтаксис:

{
  "SecurityGroupIds": ["string", ...],
  "Subnets": ["string", ...]
}

--enable-network-isolation | --no-enable-network-isolation (булево)

Определяет, изолированы ли все контейнеры моделей, развернутые на конечной точке. Если они изолированы, контейнеры моделей не могут осуществлять входящие или исходящие сетевые вызовы.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения будут перезаписаны значениями, предоставленными через JSON. Невозможно передавать произвольные двоичные данные с помощью значения, предоставленного в формате JSON, поскольку строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение по умолчанию или input, выводится пример JSON-ввода, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, выводится пример YAML-ввода, который можно использовать с --cli-input-yaml. Если предоставлено значение output, то проверяются входные данные команды и возвращается пример JSON-вывода для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Общие параметры

--debug (boolean)

Включить отладку протоколирования.

--endpoint-url (string)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого SSL-соединения AWS CLI проверяет SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (boolean)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (string)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определённый профиль из файла учетных данных.

--region (string)

Регион для использования. Переопределяет настройки конфигурации/окружения.

--version (string)

Отобразить версию этого инструмента.

--color (string)

Включить/выключить цветной вывод.

on
off
auto

--no-sign-request (boolean)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (string)

Образ сертификата CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/окружения.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (string)

Стиль форматирования, используемый для двоичных блоков. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое соответствует двоичному блоку fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла непосредственно, независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного параметра cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (boolean)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (boolean)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматическое запросы параметров ввода CLI.

Вывод

EndpointConfigArn -> (string)

Amazon Resource Name (ARN) конфигурации конечной точки.