invoke-endpoint

Описание

После развертывания модели в производство с помощью сервисов хостинга Amazon SageMaker, ваши клиентские приложения используют этот API для получения предсказаний от модели, размещенной по указанному целевому адресу.

Обзор Amazon SageMaker см. в разделе Как это работает.

Amazon SageMaker удаляет все заголовки POST, кроме поддерживаемых API. Amazon SageMaker может добавить дополнительные заголовки. Вы не должны полагаться на поведение заголовков, не перечисленных в синтаксисе запроса.

Вызовы к InvokeEndpoint аутентифицируются с помощью Amazon Web Services Signature Version 4. Дополнительную информацию см. в разделе Аутентификация запросов (Amazon Web Services Signature Version 4) в Справочнике по API Amazon S3.

Контейнеры моделей клиента должны отвечать на запросы в течение 60 секунд. Сама модель может иметь максимальное время обработки 60 секунд перед ответом на вызовы. Если ваша модель будет обрабатывать запросы 50-60 секунд, время ожидания сокета SDK следует установить на 70 секунд.

Примечание

Целевые адреса ограничены отдельными учетными записями и не являются общедоступными. URL-адрес не содержит идентификатор учетной записи, но Amazon SageMaker определяет идентификатор учетной записи по токену аутентификации, предоставленному вызывающей стороной.

См. также: Документация API AWS

Синтаксис

  invoke-endpoint
--endpoint-name <value>
--body <value>
[--content-type <value>]
[--accept <value>]
[--custom-attributes <value>]
[--target-model <value>]
[--target-variant <value>]
[--target-container-hostname <value>]
[--inference-id <value>]
[--enable-explanations <value>]
[--inference-component-name <value>]
[--session-id <value>]
<outfile>
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--endpoint-name (строка)

Имя целевого адреса, указанное при создании целевого адреса с помощью API CreateEndpoint.

--body (байты)

Предоставляет входные данные в формате, указанном в заголовке запроса ContentType. Amazon SageMaker передает все данные в теле модели.

Дополнительную информацию о формате тела запроса см. в разделе Общие форматы данных — Предсказания.

--content-type (строка)

Тип MIME входных данных в теле запроса.

--accept (строка)

Желаемый тип MIME ответа на предсказание от контейнера модели.

--custom-attributes (строка)

Предоставляет дополнительную информацию о запросе предсказания, отправленном модели, размещенной на целевом адресе Amazon SageMaker. Информация представляет собой непрозрачное значение, передаваемое дословно. Например, вы можете использовать это значение для предоставления идентификатора, который вы можете использовать для отслеживания запроса, или для предоставления других метаданных, которые был запрограммирован на обработку сервисный целевой адрес. Значение должно содержать не более 1024 видимых символов US-ASCII, как указано в разделе 3.3.6. Компоненты значений полей протокола передачи гипертекста (HTTP/1.1).

Код в вашей модели отвечает за установку или обновление любых пользовательских атрибутов в ответе. Если ваш код не установит это значение в ответе, возвращается пустое значение. Например, если пользовательский атрибут представляет идентификатор трассировки, ваша модель может добавить префикс Trace ID: к пользовательскому атрибуту в вашей функции пост-обработки.

Эта функция в настоящее время поддерживается в Amazon Web Services SDK, но не в Amazon SageMaker Python SDK.

--target-model (строка)

Модель, для которой запрашиваются предсказания при вызове целевого адреса с несколькими моделями.

--target-variant (строка)

Укажите вариант производства, которому необходимо отправить запрос на предсказание при вызове целевого адреса, который выполняет две или более вариантов. Обратите внимание, что этот параметр переопределяет поведение по умолчанию для целевого адреса, которое заключается в распределении трафика вызовов на основе весов варианта.

Дополнительную информацию о том, как использовать нацеливание на варианты для проведения A/B-тестирования, см. в разделе Тестирование моделей в производстве

--target-container-hostname (строка)

Если целевой адрес содержит несколько контейнеров и настроен на использование прямого вызова, этот параметр указывает имя хоста контейнера, который необходимо вызвать.

--inference-id (строка)

Если вы предоставите значение, оно будет добавлено к захваченным данным при включении захвата данных на целевом адресе. Дополнительную информацию о захвате данных см. в разделе Захват данных.

--enable-explanations (строка)

Необязательное выражение JMESPath, используемое для переопределения параметра EnableExplanations API ClarifyExplainerConfig. Дополнительную информацию см. в разделе Раздел EnableExplanations в руководстве разработчика.

--inference-component-name (строка)

Если целевой адрес содержит один или несколько компонентов предсказания, этот параметр указывает имя компонента предсказания, который необходимо вызвать.

--session-id (строка)

Создает сеанс с состоянием или определяет существующий. Вы можете сделать одно из следующего:

Создать сеанс с состоянием, указав значение NEW_SESSION.
Отправить запрос в существующий сеанс с состоянием, указав идентификатор этого сеанса.

С сеансом с состоянием вы можете отправить несколько запросов в модель с состоянием. При создании сеанса с моделью с состоянием модель должна создать идентификатор сеанса и установить время истечения срока действия. Модель также должна предоставить эту информацию в ответе на ваш запрос. Вы можете получить идентификатор и отметку времени из параметра ответа NewSessionId. Для любого последующего запроса, где вы укажете этот идентификатор сеанса, SageMaker перенаправляет запрос на тот же экземпляр, который поддерживает сеанс.

outfile (строка) Имя файла, в который будет сохранен контент

Глобальные параметры

--debug (логическое значение)

Включить отладку.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого соединения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Использовать определенный регион. Переопределяет параметры конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить вывод в цвете.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот параметр предоставлен.

--ca-bundle (строка)

Файл с пакетом сертификатов CA для проверки сертификатов SSL. Переопределяет параметры конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут представлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок, fileb:// всегда будет рассматриваться как двоичный и будет использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

Тело -> (байты)

Содержит предсказание, предоставленное моделью.

Дополнительную информацию о формате тела ответа см. в разделе Общие форматы данных — Предсказания.

Если объяснения активированы, тело содержит объяснения, предоставленные моделью. Дополнительную информацию см. в разделе Раздел ответа в разделе Вызов целевого адреса в Руководстве разработчика.

ContentType -> (строка)

Тип MIME предсказания, возвращенного контейнером модели.

InvokedProductionVariant -> (строка)

Идентифицирует вызванный вариант производства.

CustomAttributes -> (строка)

Предоставляет дополнительную информацию в ответе о предсказании, возвращенном моделью, размещенной на целевом адресе Amazon SageMaker. Информация представляет собой непрозрачное значение, передаваемое дословно. Например, вы можете использовать это значение для возвращения идентификатора, полученного в заголовке CustomAttributes запроса, или других метаданных, которые был запрограммирован на производство сервисный целевой адрес. Значение должно содержать не более 1024 видимых символов US-ASCII, как указано в разделе 3.3.6. Компоненты значений полей протокола передачи гипертекста (HTTP/1.1). Если клиент хочет получить пользовательский атрибут, модель должна установить пользовательский атрибут для включения его в ответ.

Эта функция в настоящее время поддерживается в Amazon Web Services SDK, но не в Amazon SageMaker Python SDK.

NewSessionId -> (строка)

Если вы создали сеанс с состоянием с помощью запроса, идентификатор и время истечения срока действия, которые модель назначает этому сеансу.

ClosedSessionId -> (строка)

Если вы закрыли сеанс с состоянием с помощью запроса, идентификатор этого сеанса.