describe-endpoint-config

Описание

Возвращает описание конфигурации конечной точки, созданной с помощью CreateEndpointConfig API.

См. также: документацию AWS API

Синтаксис

  describe-endpoint-config
--endpoint-config-name <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--endpoint-config-name (строка)

Имя конфигурации конечной точки.

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладку логов.

--endpoint-url (строка)

Переопределить URL по умолчанию команды указанным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение проверки сертификатов SSL по умолчанию.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое соответствует двоичному блоку, fileb:// всегда будет обрабатываться как двоичное и будет использовать содержимое файла напрямую, независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для конфигурированного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить вывод пагинатора CLI.

--cli-auto-prompt (логическое значение)

Автоматически запросить входные параметры CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса входных параметров CLI.

Вывод

EndpointConfigName -> (строка)

Имя конфигурации конечной точки SageMaker.

EndpointConfigArn -> (строка)

Amazon Resource Name (ARN) конфигурации конечной точки.

ProductionVariants -> (список)

Массив объектов ProductionVariant, по одному для каждой модели, которую вы хотите разместить в этой конечной точке.

(структура)

Идентифицирует модель, которую вы хотите разместить, и ресурсы, выбранные для ее развертывания. Если вы развертываете несколько моделей, укажите SageMaker, как распределить трафик между моделями, указав веса вариантов. Дополнительную информацию о вариантах производства см. в разделе Варианты производства.

VariantName -> (строка)

Имя варианта производства.

ModelName -> (строка)

Имя модели, которую вы хотите разместить. Это имя, которое вы указали при создании модели.

InitialInstanceCount -> (целое число)

Количество экземпляров, которые нужно запустить изначально.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

InitialVariantWeight -> (вещественное число)

Определяет начальное распределение трафика между всеми моделями, которые вы указываете в конфигурации конечной точки. Трафик для варианта производства определяется соотношением VariantWeight к сумме всех значений VariantWeight по всем ProductionVariants. Если не указано, по умолчанию используется 1,0.

AcceleratorType -> (строка)

Этот параметр больше не поддерживается. Ускоренный вывод (EI) больше не доступен.

Этот параметр использовался для указания размера экземпляра EI, который необходимо использовать для варианта производства.

CoreDumpConfig -> (структура)

Указывает конфигурацию для дампа ядра из контейнера модели, когда процесс завершается аварийно.

DestinationS3Uri -> (строка)

Ведро Amazon S3, в которое необходимо отправить дамп ядра.

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных дампов ядра в состоянии покоя с использованием шифрования Amazon S3 на стороне сервера. Ключ KmsKeyId может быть в любом из следующих форматов:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Amazon Resource Name (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Amazon Resource Name (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения для вызова kms:Encrypt . Если вы не укажете идентификатор ключа KMS, SageMaker использует ключ KMS по умолчанию для Amazon S3 для учетной записи вашей роли. SageMaker использует шифрование на стороне сервера с управляемыми ключами KMS для OutputDataConfig . Если вы используете политику ведра с разрешением s3:PutObject, которое разрешает только объекты с шифрованием на стороне сервера, установите ключ условия s3:x-amz-server-side-encryption в значение "aws:kms". Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в руководстве разработчика Amazon Simple Storage Service.

Политика ключа KMS должна предоставлять разрешения IAM-роли, которую вы указываете в своих запросах CreateEndpoint и UpdateEndpoint. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в руководстве разработчика Amazon Web Services Key Management Service.

ServerlessConfig -> (структура)

Конфигурация серверless для конечной точки. Указывает конфигурацию серверless конечной точки вместо конфигурации конечной точки на основе экземпляров.

MemorySizeInMB -> (целое число)

Размер памяти вашей серверless конечной точки. Допустимые значения — это значения, кратные 1 ГБ: 1024 МБ, 2048 МБ, 3072 МБ, 4096 МБ, 5120 МБ или 6144 МБ.

MaxConcurrency -> (целое число)

Максимальное количество одновременных вызовов, которые может обработать ваша серверless конечная точка.

ProvisionedConcurrency -> (целое число)

Количество выделенного конкурентного использования, которое необходимо выделить для серверless конечной точки. Должно быть меньше или равно MaxConcurrency .

Примечание

Этот параметр не поддерживается для рекомендаций серверless конечной точки для задач Inference Recommender. Дополнительную информацию о создании задачи Inference Recommender см. в разделе Создать задачи InferenceRecommendationsJobs .

VolumeSizeInGB -> (целое число)

Размер ML-хранилища, в ГБ, подключенного к отдельному экземпляру инференции, связанному с вариантом производства. В настоящее время поддерживаются только тома хранения Amazon EBS gp2.

ModelDataDownloadTimeoutInSeconds -> (целое число)

Значение тайм-аута в секундах для загрузки и извлечения модели, которую вы хотите разместить из Amazon S3 в отдельный экземпляр инференции, связанный с этим вариантом производства.

ContainerStartupHealthCheckTimeoutInSeconds -> (целое число)

Значение тайм-аута в секундах для вашего контейнера инференции для прохождения проверки состояния на стороне SageMaker Hosting. Дополнительную информацию о проверке состояния см. в разделе Как ваш контейнер должен отвечать на запросы проверки состояния (проверки).

EnableSSMAccess -> (булево)

Вы можете использовать этот параметр для включения доступа к системному менеджеру Amazon Web Services (SSM) для варианта производства за конечной точкой. По умолчанию доступ к SSM отключен для всех вариантов производства за конечной точкой. Вы можете включить или отключить доступ SSM для варианта производства за существующей конечной точкой, создав новую конфигурацию конечной точки и вызвав UpdateEndpoint.

ManagedInstanceScaling -> (структура)

Параметры, которые контролируют диапазон количества экземпляров, которые конечная точка предоставляет по мере масштабирования вверх или вниз, чтобы удовлетворить трафику.

Status -> (строка)

Указывает, включено ли управляемое масштабирование экземпляров.

MinInstanceCount -> (целое число)

Минимальное количество экземпляров, которое конечная точка должна сохранить при масштабировании вниз, чтобы удовлетворить снижению трафика.

MaxInstanceCount -> (целое число)

Максимальное количество экземпляров, которое конечная точка может предоставить при масштабировании вверх, чтобы удовлетворить увеличению трафика.

RoutingConfig -> (структура)

Параметры, которые контролируют способ маршрутизации входящего трафика конечной точки к экземплярам, которые конечная точка размещает.

RoutingStrategy -> (строка)

Устанавливает способ маршрутизации входящего трафика конечной точки:

LEAST_OUTSTANDING_REQUESTS : Конечная точка маршрутизирует запросы к определенным экземплярам, которые имеют больше возможностей для их обработки.
RANDOM : Конечная точка маршрутизирует каждый запрос к случайно выбранному экземпляру.

InferenceAmiVersion -> (строка)

Указывает параметр из набора предварительно настроенных образов Amazon Machine Image (AMI). Каждый образ настроен Amazon Web Services с набором версий программного обеспечения и драйверов. Amazon Web Services оптимизирует эти конфигурации для различных рабочих нагрузок машинного обучения.

Выбрав версию AMI, вы можете гарантировать, что ваша среда инференции совместима со специфическими требованиями программного обеспечения, такими как версии драйверов CUDA, версии ядра Linux или версии драйверов Amazon Web Services Neuron.

Имена версий AMI и их конфигурации следующие:

al2-ami-sagemaker-inference-gpu-2

Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2

al2-ami-sagemaker-inference-gpu-2-1
Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2
NVIDIA Container Toolkit с отключенной установкой CUDA-совместимости

al2-ami-sagemaker-inference-gpu-3-1
Ускоритель: GPU
Версия драйвера NVIDIA: 550
Версия CUDA: 12.4
NVIDIA Container Toolkit с отключенной установкой CUDA-совместимости

al2-ami-sagemaker-inference-neuron-2
Ускоритель: Inferentia2 и Trainium
Версия драйвера Neuron: 2.19

DataCaptureConfig -> (структура)

Конфигурация для управления тем, как SageMaker AI захватывает данные инференции.

EnableCapture -> (булево)

Включить или отключить захват данных (по умолчанию включено).

InitialSamplingPercentage -> (целое число)

Процент запросов, которые SageMaker AI будет захватывать. Для конечных точек с высоким трафиком рекомендуется меньшее значение.

DestinationS3Uri -> (строка)

Расположение Amazon S3, используемое для захвата данных.

KmsKeyId -> (строка)

Amazon Resource Name (ARN) ключа управления ключами, который SageMaker AI использует для шифрования захваченных данных в состоянии покоя с использованием шифрования Amazon S3 на стороне сервера.

Ключ KmsKeyId может быть в любом из следующих форматов:

Идентификатор ключа: 1234abcd-12ab-34cd-56ef-1234567890ab
ARN ключа: arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab
Имя псевдонима: alias/ExampleAlias
ARN имени псевдонима: arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias

CaptureOptions -> (список)

Указывает данные, которые Model Monitor будет захватывать. Вы можете настроить, чтобы собирать только входные данные, только выходные данные или оба типа данных

(структура)

Указывает данные, которые Model Monitor будет захватывать.

CaptureMode -> (строка)

Укажите границы данных для захвата.

CaptureContentTypeHeader -> (структура)

Конфигурация, определяющая, как обрабатывать разные заголовки. Если заголовки не указаны, SageMaker AI по умолчанию будет кодировать данные при захвате в base64.

CsvContentTypes -> (список)

Список всех заголовков типа содержимого, которые Amazon SageMaker AI будет рассматривать как CSV и соответственно захватывать.

(строка)

JsonContentTypes -> (список)

Список всех заголовков типа содержимого, которые SageMaker AI будет рассматривать как JSON и соответственно захватывать.

(строка)

KmsKeyId -> (строка)

Идентификатор ключа KMS Amazon Web Services, который Amazon SageMaker использует для шифрования данных при их хранении в объеме ML-хранилища, подключенном к экземпляру.

CreationTime -> (временная метка)

Временная метка, которая отображает время создания конфигурации конечной точки.

AsyncInferenceConfig -> (структура)

Возвращает описание конфигурации конечной точки, созданной с помощью API ` CreateEndpointConfig https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html`__.

ClientConfig -> (структура)

Настраивает поведение клиента, используемого SageMaker для взаимодействия с контейнером модели во время асинхронного вывода.

MaxConcurrentInvocationsPerInstance -> (целое число)

Максимальное количество одновременных запросов, отправленных клиентом SageMaker контейнеру модели. Если значение не указано, SageMaker выбирает оптимальное значение.

OutputConfig -> (структура)

Указывает конфигурацию для вывода вызовов асинхронного вывода.

KmsKeyId -> (строка)

Ключ управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования вывода асинхронного вывода в Amazon S3.

S3OutputPath -> (строка)

Расположение Amazon S3 для загрузки ответов вывода.

NotificationConfig -> (структура)

Указывает конфигурацию для уведомлений о результатах вывода для асинхронного вывода.

SuccessTopic -> (строка)

Тема Amazon SNS для отправки уведомления при успешном завершении вывода. Если тема не указана, уведомление об успехе не отправляется.

ErrorTopic -> (строка)

Тема Amazon SNS для отправки уведомления при ошибке вывода. Если тема не указана, уведомление об ошибке не отправляется.

IncludeInferenceResponseIn -> (список)

Темы Amazon SNS, в которые необходимо включить ответ вывода.

Примечание

Ответ вывода включается только если его размер не превышает 128 КБ.

(строка)

S3FailurePath -> (строка)

Расположение Amazon S3 для загрузки ответов об ошибках вывода.

ExplainerConfig -> (структура)

Параметры конфигурации для объяснения.

ClarifyExplainerConfig -> (структура)

Элемент ExplainerConfig, содержащий параметры конфигурации для объяснения SageMaker Clarify.

EnableExplanations -> (строка)

Булево выражение JMESPath, используемое для фильтрации записей, которые нужно объяснить. Объяснения активированы по умолчанию. Дополнительную информацию см. в ` EnableExplanations https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-online-explainability-create-endpoint.html#clarify-online-explainability-create-endpoint-enable`__.

InferenceConfig -> (структура)

Параметр конфигурации вывода для контейнера модели.

FeaturesAttribute -> (строка)

Предоставляет выражение JMESPath для извлечения признаков из входных данных контейнера модели в формате JSON Lines. Например, если FeaturesAttribute — выражение JMESPath 'myfeatures', то оно извлекает список признаков [1,2,3] из данных запроса '{"myfeatures":[1,2,3]}'.

ContentTemplate -> (строка)

Строковая шаблон, используемая для форматирования JSON-записи в приемлемые входные данные контейнера модели. Например, строка ContentTemplate '{"myfeatures":$features}' отформатирует список признаков [1,2,3] в строку записи '{"myfeatures":[1,2,3]}'. Требуется только когда входные данные контейнера модели в формате JSON Lines.

MaxRecordCount -> (целое число)

Максимальное количество записей в запросе, которые может обработать контейнер модели при запросе прогнозов синтетического набора данных. Запись — это единица входных данных, на которой можно выполнить вывод, например, одна строка в данных CSV. Если MaxRecordCount равно 1, контейнер модели ожидает одну запись на запрос. Значение 2 или больше означает, что контейнер модели ожидает пакетные запросы, что может снизить нагрузку и ускорить процесс вывода. Если этот параметр не указан, объяснители настроят количество записей на запрос в соответствии с возможностями контейнера модели во время выполнения.

MaxPayloadInMB -> (целое число)

Максимальный размер полезной нагрузки (МБ) запроса от объяснителей к контейнеру модели. По умолчанию 6 МБ.

ProbabilityIndex -> (целое число)

Индекс с нулевым основанием, используемый для извлечения значения вероятности (баллов) или списка из выходных данных контейнера модели в формате CSV. Если это значение не указано, все выходные данные контейнера модели будут обрабатываться как значение вероятности (балл) или список.

Пример для модели с одним классом: Если выходные данные контейнера модели состоят из строкового прогнозируемого метки, за которым следует вероятность: '1,0.6', установите ProbabilityIndex на 1, чтобы выбрать значение вероятности 0.6.

Пример для многоклассовой модели: Если выходные данные контейнера модели состоят из строкового прогнозируемого метки, за которым следует вероятность: '"[\'cat\',\'dog\',\'fish\']","[0.1,0.6,0.3]"', установите ProbabilityIndex на 1, чтобы выбрать значения вероятности [0.1,0.6,0.3].

LabelIndex -> (целое число)

Индекс с нулевым основанием, используемый для извлечения заголовка метки или списка заголовков меток из выходных данных контейнера модели в формате CSV.

Пример для многоклассовой модели: Если выходные данные контейнера модели состоят из заголовков меток, за которыми следуют вероятности: '"[\'cat\',\'dog\',\'fish\']","[0.1,0.6,0.3]"', установите LabelIndex на 0, чтобы выбрать заголовки меток ['cat','dog','fish'].

ProbabilityAttribute -> (строка)

Выражение JMESPath, используемое для извлечения вероятности (или оценки) из выходных данных контейнера модели, если контейнер модели в формате JSON Lines.

Пример: Если выходные данные контейнера модели для одного запроса — '{"predicted_label":1,"probability":0.6}', установите ProbabilityAttribute на 'probability'.

LabelAttribute -> (строка)

Выражение JMESPath, используемое для поиска списка заголовков меток в выходных данных контейнера модели.

Пример: Если выходные данные контейнера модели для пакетного запроса — '{"labels":["cat","dog","fish"],"probability":[0.6,0.3,0.1]}', установите LabelAttribute на 'labels', чтобы извлечь список заголовков меток ["cat","dog","fish"].

LabelHeaders -> (список)

Для многоклассовых задач классификации — имена классов. В противном случае — имя прогнозируемой метки. Используются для улучшения читабельности выходных данных API InvokeEndpoint. Дополнительную информацию см. в разделе ответа в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

FeatureHeaders -> (список)

Имена признаков. Если указаны, они включаются в ответ конечной точки для повышения читабельности выходных данных InvokeEndpoint. Дополнительную информацию см. в разделе Ответ в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

FeatureTypes -> (список)

Список типов данных признаков (необязательно). Применимо только к NLP-объяснению. Если указан, FeatureTypes должен содержать как минимум одну строку 'text' (например, ['text']). Если FeatureTypes не указан, объяснители определяют типы признаков на основе базовых данных. Типы признаков включены в ответ конечной точки. Дополнительную информацию см. в разделе ответа в разделе Вызов конечной точки в Руководстве разработчика.

(строка)

ShapConfig -> (структура)

Конфигурация для анализа SHAP.

ShapBaselineConfig -> (структура)

Конфигурация для базовой линии SHAP алгоритма Kernal SHAP.

MimeType -> (строка)

Тип MIME базовых данных. Выберите из 'text/csv' или 'application/jsonlines'. По умолчанию 'text/csv'.

ShapBaseline -> (строка)

Встроенные данные базовой линии SHAP в строчном формате. ShapBaseline может содержать одну или несколько записей, которые будут использоваться в качестве базового набора данных. Формат файла базовой линии SHAP должен соответствовать формату обучающего набора данных. Например, если обучающий набор данных в формате CSV, и каждая запись содержит четыре признака, и все признаки числовые, то формат базовых данных должен соответствовать этим характеристикам. Для естественного языка обработки текста (NLP) для столбцов текста значение базовой линии должно соответствовать значению, используемому для замены единицы текста, указанной в Granularity параметра TextConfig. Максимальный размер ShapBasline — 4 КБ. Используйте параметр ShapBaselineUri, если вы хотите предоставить более 4 КБ базовых данных.

ShapBaselineUri -> (строка)

Унифицированный идентификатор ресурса (URI) ведра S3, где хранится файл базовой линии SHAP. Формат файла базовой линии SHAP должен соответствовать формату обучающего набора данных. Например, если обучающий набор данных в формате CSV, и каждая запись в обучающем наборе данных имеет четыре признака, и все признаки числовые, то файл базовой линии также должен иметь этот же формат. Каждая запись должна содержать только признаки. Если вы используете виртуальную частную облачность (VPC), ShapBaselineUri должен быть доступен для VPC. Дополнительную информацию о настройке конечных точек с Amazon Virtual Private Cloud см. в Give SageMaker access to Resources in your Amazon Virtual Private Cloud.

NumberOfSamples -> (целое число)

Количество выборок, которые будут использоваться для анализа алгоритмом Kernal SHAP.

Примечание

Количество выборок определяет размер синтетического набора данных, что влияет на задержку запросов объяснения. Дополнительную информацию см. в разделе Синтетические данные раздела Настройка и создание конечной точки.

UseLogit -> (булево)

Булево значение для указания, хотите ли вы использовать функцию logit (true) или логарифмические вероятности (false) для прогнозов модели. По умолчанию false.

Seed -> (целое число)

Начальное значение, используемое для инициализации генератора случайных чисел в объяснении. Укажите значение для этого параметра, чтобы получить детерминированный результат SHAP.

TextConfig -> (структура)

Параметр, указывающий, обрабатываются ли текстовые признаки как текст и предоставляются ли объяснения для отдельных единиц текста. Требуется только для объяснения естественного языка обработки текста (NLP).

Language -> (строка)

Указывает язык текстовых признаков в коде `ISO 639-1 < https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes>`__ или ISO 639-3.

Примечание

Для смешанных языков используйте код 'xx'.

Granularity -> (строка)

Единица гранулярности для анализа текстовых признаков. Например, если единица — 'token', то каждый токен (например, слово в английском языке) текста рассматривается как признак. Значения SHAP вычисляются для каждой единицы/признака.

ShadowProductionVariants -> (список)

Массив объектов ProductionVariant, по одному для каждой модели, которую вы хотите разместить на этом конечной точке в режиме тени с реплицированным трафиком из модели, указанной в ProductionVariants.

(структура)

Идентифицирует модель, которую вы хотите разместить, и ресурсы, выбранные для её развертывания. Если вы разворачиваете несколько моделей, укажите SageMaker, как распределять трафик между моделями, указав веса вариантов. Для получения дополнительной информации о производственных вариантах см. Производственные варианты.

VariantName -> (строка)

Имя производственного варианта.

ModelName -> (строка)

Имя модели, которую вы хотите разместить. Это имя, которое вы указали при создании модели.

InitialInstanceCount -> (целое число)

Количество экземпляров, которые нужно запустить изначально.

InstanceType -> (строка)

Тип вычислительного экземпляра ML.

InitialVariantWeight -> (вещественное число)

Определяет начальное распределение трафика между всеми моделями, которые вы указываете в конфигурации конечной точки. Трафик для производственного варианта определяется соотношением VariantWeight к сумме всех значений VariantWeight по всем ProductionVariants. Если не указано, он по умолчанию равен 1,0.

AcceleratorType -> (строка)

Этот параметр больше не поддерживается. Ускоренный вывод (EI) больше недоступен.

Этот параметр использовался для указания размера экземпляра EI, который следует использовать для производственного варианта.

CoreDumpConfig -> (структура)

Указывает конфигурацию дампов ядра из контейнера модели при сбое процесса.

DestinationS3Uri -> (строка)

Ведро Amazon S3 для отправки дампов ядра.

KmsKeyId -> (строка)

Ключ службы управления ключами Amazon Web Services (Amazon Web Services KMS), который SageMaker использует для шифрования данных дампов ядра в состоянии покоя с использованием шифрования на стороне сервера Amazon S3. Ключ KmsKeyId может быть в следующих форматах:

// Идентификатор ключа KMS "1234abcd-12ab-34cd-56ef-1234567890ab"
// Имя ресурса Amazon (ARN) ключа KMS "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
// Псевдоним ключа KMS "alias/ExampleAlias"
// Имя ресурса Amazon (ARN) псевдонима ключа KMS "arn:aws:kms:us-west-2:111122223333:alias/ExampleAlias"

Если вы используете идентификатор ключа KMS или псевдоним своего ключа KMS, роль выполнения SageMaker должна включать разрешения для вызова kms:Encrypt . Если вы не предоставите идентификатор ключа KMS, SageMaker использует по умолчанию ключ KMS для Amazon S3 для учетной записи вашей роли. SageMaker использует шифрование на стороне сервера с управляемыми ключами KMS для OutputDataConfig. Если вы используете политику ведра с разрешением s3:PutObject, которое разрешает только объекты с шифрованием на стороне сервера, установите ключ условия s3:x-amz-server-side-encryption в значение "aws:kms". Дополнительную информацию см. в разделе Ключи шифрования, управляемые KMS, в Руководстве разработчика Amazon Simple Storage Service.

Политика ключа KMS должна предоставлять разрешения IAM-роли, которую вы указываете в своих запросах CreateEndpoint и UpdateEndpoint. Дополнительную информацию см. в разделе Использование политик ключей в Amazon Web Services KMS в Руководстве разработчика Amazon Web Services Key Management Service.

ServerlessConfig -> (структура)

Конфигурация бессерверного режима для конечной точки. Указывает конфигурацию бессерверной конечной точки вместо конфигурации конечной точки на основе экземпляров.

MemorySizeInMB -> (целое число)

Размер памяти вашей бессерверной конечной точки. Допустимые значения - это приращения по 1 ГБ: 1024 МБ, 2048 МБ, 3072 МБ, 4096 МБ, 5120 МБ или 6144 МБ.

MaxConcurrency -> (целое число)

Максимальное количество одновременных вызовов, которые может обрабатывать ваша бессерверная конечная точка.

ProvisionedConcurrency -> (целое число)

Количество выделенного конкурентного доступа, которое необходимо выделить для бессерверной конечной точки. Должно быть меньше или равно MaxConcurrency.

Примечание

Этот параметр не поддерживается для рекомендаций по бессерверным конечным точкам для задач Inference Recommender. Дополнительную информацию о создании задачи Inference Recommender см. в разделе CreateInferenceRecommendationsJobs.

VolumeSizeInGB -> (целое число)

Размер в ГБ ML-хранилища, подключённого к индивидуальному экземпляру вывода, связанному с производственным вариантом. В настоящее время поддерживаются только хранилища Amazon EBS gp2.

ModelDataDownloadTimeoutInSeconds -> (целое число)

Время ожидания в секундах для загрузки и извлечения модели, которую вы хотите разместить из Amazon S3 на отдельный экземпляр вывода, связанный с этим производственным вариантом.

ContainerStartupHealthCheckTimeoutInSeconds -> (целое число)

Время ожидания в секундах для контейнера вывода для прохождения проверки работоспособности SageMaker Hosting. Дополнительную информацию о проверке работоспособности см. в разделе Как ваш контейнер должен реагировать на запросы проверки работоспособности (пинга).

EnableSSMAccess -> (булево)

Вы можете использовать этот параметр, чтобы включить прямой доступ к Amazon Web Services Systems Manager (SSM) для производственного варианта за конечной точкой. По умолчанию доступ SSM отключён для всех производственных вариантов за конечной точкой. Вы можете включить или отключить доступ SSM для производственного варианта за существующей конечной точкой, создав новую конфигурацию конечной точки и вызвав UpdateEndpoint.

ManagedInstanceScaling -> (структура)

Настройки, которые управляют диапазоном количества экземпляров, которые конечная точка предоставляет при масштабировании вверх или вниз для адаптации к трафику.

Status -> (строка)

Указывает, включено ли управляемое масштабирование экземпляров.

MinInstanceCount -> (целое число)

Минимальное количество экземпляров, которые конечная точка должна сохранить при масштабировании вниз для адаптации к уменьшению трафика.

MaxInstanceCount -> (целое число)

Максимальное количество экземпляров, которые конечная точка может предоставить при масштабировании вверх для адаптации к увеличению трафика.

RoutingConfig -> (структура)

Настройки, которые управляют тем, как конечная точка маршрутизирует входящий трафик к экземплярам, которые она предоставляет.

RoutingStrategy -> (строка)

Устанавливает, как конечная точка маршрутизирует входящий трафик:

LEAST_OUTSTANDING_REQUESTS : Конечная точка маршрутизирует запросы на конкретные экземпляры, у которых больше ресурсов для их обработки.
RANDOM : Конечная точка маршрутизирует каждый запрос на случайным образом выбранный экземпляр.

InferenceAmiVersion -> (строка)

Указывает вариант из набора предварительно настроенных образов Amazon Machine Image (AMI). Каждый образ настраивается Amazon Web Services с набором версий программного обеспечения и драйверов. Amazon Web Services оптимизирует эти конфигурации для различных рабочих нагрузок машинного обучения.

Выбрав версию AMI, вы можете гарантировать, что ваша среда вывода совместима со специфическими требованиями к программному обеспечению, такими как версии драйверов CUDA, версии ядра Linux или версии драйверов Amazon Web Services Neuron.

Имена версий AMI и их конфигурации:

al2-ami-sagemaker-inference-gpu-2

Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2

al2-ami-sagemaker-inference-gpu-2-1
Ускоритель: GPU
Версия драйвера NVIDIA: 535
Версия CUDA: 12.2
NVIDIA Container Toolkit с отключённой монтировкой CUDA-compat

al2-ami-sagemaker-inference-gpu-3-1
Ускоритель: GPU
Версия драйвера NVIDIA: 550
Версия CUDA: 12.4
NVIDIA Container Toolkit с отключённой монтировкой CUDA-compat

al2-ami-sagemaker-inference-neuron-2
Ускоритель: Inferentia2 и Trainium
Версия драйвера Neuron: 2.19

ExecutionRoleArn -> (строка)

Идентификатор ресурса Amazon (ARN) IAM-роли, которую вы назначили конфигурации конечной точки.

VpcConfig -> (структура)

Указывает виртуальную частную сеть Amazon (VPC), к которой имеют доступ ваши задачи SageMaker, размещённые модели и вычислительные ресурсы. Вы можете управлять доступом к ресурсам и из ресурсов, настроив VPC. Дополнительную информацию см. в разделе Надёжная передача доступа SageMaker к ресурсам в вашей сети Amazon VPC.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx. Укажите группы безопасности для VPC, указанные в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою обучающую задачу или модель. Информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

EnableNetworkIsolation -> (булево)

Указывает, изолированы ли все контейнеры моделей, развернутые в конечной точке. Если да, то контейнеры моделей не могут осуществлять входящие или исходящие сетевые вызовы.

END_OF_DOCUMENT_MARKER