create-inference-component

Описание

Создает компонент вывода, который является объектом хостинга SageMaker AI, который можно использовать для развертывания модели на конечной точке. В настройках компонента вывода вы указываете модель, конечную точку и то, как модель использует ресурсы, размещенные в конечной точке. Вы можете оптимизировать использование ресурсов, настраивая распределение необходимых ядер процессора, ускорителей и памяти. Вы можете развернуть несколько компонентов вывода на конечной точке, где каждый компонент вывода содержит одну модель и потребности в использовании ресурсов для этой конкретной модели. После развертывания компонента вывода вы можете напрямую вызывать связанную модель, когда используете действие InvokeEndpoint API.

См. также: Документация AWS API

Синтаксис

  create-inference-component
--inference-component-name <value>
--endpoint-name <value>
[--variant-name <value>]
--specification <value>
[--runtime-config <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--inference-component-name (строка)

--endpoint-name (строка)

--variant-name (строка)

--specification (структура)

Сокращенный синтаксис:

ModelName=string,Container={Image=string,ArtifactUrl=string,Environment={KeyName1=string,KeyName2=string}},StartupParameters={ModelDataDownloadTimeoutInSeconds=integer,ContainerStartupHealthCheckTimeoutInSeconds=integer},ComputeResourceRequirements={NumberOfCpuCoresRequired=float,NumberOfAcceleratorDevicesRequired=float,MinMemoryRequiredInMb=integer,MaxMemoryRequiredInMb=integer},BaseInferenceComponentName=string

Синтаксис JSON:

{
  "ModelName": "string",
  "Container": {
    "Image": "string",
    "ArtifactUrl": "string",
    "Environment": {"string": "string"
      ...}
  },
  "StartupParameters": {
    "ModelDataDownloadTimeoutInSeconds": integer,
    "ContainerStartupHealthCheckTimeoutInSeconds": integer
  },
  "ComputeResourceRequirements": {
    "NumberOfCpuCoresRequired": float,
    "NumberOfAcceleratorDevicesRequired": float,
    "MinMemoryRequiredInMb": integer,
    "MaxMemoryRequiredInMb": integer
  },
  "BaseInferenceComponentName": "string"
}

--runtime-config (структура)

Сокращенный синтаксис:

CopyCount=integer

Синтаксис JSON:

{
  "CopyCount": integer
}

--tags (список)

Сокращенный синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, указанному в --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет принята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или со значением input, выводится пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверяет входные данные команд и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет нестабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (булево)

Включить отладку.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.

--no-paginate (булево)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

• json
• текст
• таблица
• yaml
• yaml-поток

--query (строка)

Запрос JMESPath для использования при фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Используемый регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить вывод цвета.

• включено
• выключено
• автоматически

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (строка)

Файл сертификата CA, который необходимо использовать при проверке сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться блокирующим образом и не будет иметь тайм-аута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет выполняться блокирующим образом и не будет иметь тайм-аута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставленного с двоичным блоком, fileb:// всегда будет рассматриваться как двоичный и будет использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

• base64
• raw-in-base64-out

--no-cli-pager (булево)

Отключить вывод страницы cli.

--cli-auto-prompt (булево)

Автоматически запросить параметры входных данных CLI.

--no-cli-auto-prompt (булево)

Отключить автоматическое запроса параметров входных данных CLI.

Вывод

InferenceComponentArn -> (строка)