Spec-Zone.ru › AWS CLI v2

[ aws . sagemaker ]

create-cluster

Описание

Создаёт кластер SageMaker HyperPod. SageMaker HyperPod — это возможность SageMaker для создания и управления постоянными кластерами для разработки больших моделей машинного обучения, таких как большие языковые модели (LLM) и модели диффузии. Для получения дополнительной информации см. Amazon SageMaker HyperPod в Руководстве разработчика Amazon SageMaker.

См. также: Документацию API AWS

Синтаксис

  create-cluster
--cluster-name <value>
--instance-groups <value>
[--vpc-config <value>]
[--tags <value>]
[--orchestrator <value>]
[--node-recovery <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--cluster-name (строка)

Название нового кластера SageMaker HyperPod.

--instance-groups (список)

Группы экземпляров, которые будут созданы в кластере SageMaker HyperPod.

(структура)

Характеристики группы экземпляров, которые необходимо определить.

InstanceCount -> (целое число)

Указывает количество экземпляров, которые нужно добавить в группу экземпляров кластера SageMaker HyperPod.

InstanceGroupName -> (строка)

Указывает имя группы экземпляров.

InstanceType -> (строка)

Указывает тип экземпляра группы экземпляров.

LifeCycleConfig -> (структура)

Указывает конфигурацию жизненного цикла для группы экземпляров.

SourceS3Uri -> (строка)

Путь к ведру Amazon S3, где хранятся скрипты жизненного цикла.

Предупреждение

Убедитесь, что путь к ведру S3 начинается с s3://sagemaker- . Роль IAM для SageMaker HyperPod имеет прикрепленный управляемый ` AmazonSageMakerClusterInstanceRolePolicy https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html`__, который позволяет получить доступ к ведрам S3 со специфическим префиксом sagemaker- .

OnCreate -> (строка)

Имя файла скрипта точки входа скриптов жизненного цикла в SourceS3Uri . Этот скрипт точки входа выполняется во время создания кластера.

ExecutionRole -> (строка)

Указывает роль выполнения IAM, которая будет использоваться группой экземпляров.

ThreadsPerCore -> (целое число)

Указывает значение для Потоков на ядро . Для типов экземпляров, которые поддерживают многопоточность, можно указать 1 для отключения многопоточности и 2 для включения многопоточности. Для типов экземпляров, которые не поддерживают многопоточность, укажите 1 . Дополнительную информацию см. в справочной таблице ЦП и потоков на ядро ЦП на тип экземпляра в Руководстве пользователя Amazon Elastic Compute Cloud.

InstanceStorageConfigs -> (список)

Указывает дополнительные конфигурации хранения для экземпляров в группе экземпляров кластера SageMaker HyperPod.

(структура объединённого тега)

Определяет конфигурацию для подключения дополнительного хранилища к экземплярам в группе экземпляров кластера SageMaker HyperPod. Дополнительные сведения см. в примечаниях к выпуску SageMaker HyperPod от 20 июня 2024 г.

Примечание

Это структура объединённого тега. Можно установить только один из следующих верхнеуровневых ключей: EbsVolumeConfig.

EbsVolumeConfig -> (структура)

Определяет конфигурацию для подключения дополнительных томов Amazon Elastic Block Store (EBS) к экземплярам в группе экземпляров кластера SageMaker HyperPod. Дополнительный том EBS подключается к каждому экземпляру внутри группы экземпляров кластера SageMaker HyperPod и монтируется к /opt/sagemaker .

VolumeSizeInGB -> (целое число)

Размер дополнительного тома EBS в гигабайтах (ГБ), который необходимо подключить к экземплярам в группе экземпляров кластера SageMaker HyperPod. Дополнительный том EBS подключается к каждому экземпляру внутри группы экземпляров кластера SageMaker HyperPod и монтируется к /opt/sagemaker .

OnStartDeepHealthChecks -> (список)

Флаг, указывающий, следует ли выполнять глубокую проверку работоспособности при создании или обновлении группы экземпляров кластера.

(строка)

TrainingPlanArn -> (строка)

Идентификатор ресурса Amazon (ARN) плана обучения для использования в этой группе экземпляров кластера.

Дополнительную информацию о том, как зарезервировать емкость GPU для кластеров SageMaker HyperPod с помощью Amazon SageMaker Training Plan, см. в разделе `` CreateTrainingPlan ``.

OverrideVpcConfig -> (структура)

Для настройки многозонных развертываний можно настроить конфигурацию Amazon VPC на уровне группы экземпляров. Можно указать разные подсети и группы безопасности в различных зонах доступности в спецификации группы экземпляров, чтобы переопределить стандартную конфигурацию Amazon VPC кластера SageMaker HyperPod. Дополнительную информацию о развертывании кластера в нескольких зонах доступности см. в разделе Настройка кластеров SageMaker HyperPod в нескольких зонах доступности.

Примечание

Если ваша Amazon VPC и подсети поддерживают IPv6, сетевые коммуникации отличаются в зависимости от платформы оркестрации кластера:

  • Кластеры, оркестрируемые с помощью Slurm, автоматически настраивают узлы с двойными адресами IPv6 и IPv4, что позволяет сразу начать сетевые коммуникации по IPv6.
  • В кластерах, оркестрируемых с помощью Amazon EKS, узлы получают адресацию с двойной стековой адресацией, но поддомен может использовать IPv6 только в том случае, если кластер Amazon EKS явно поддерживает IPv6. Дополнительную информацию о развертывании кластера Amazon EKS с IPv6 см. в разделе Развертывание кластера Amazon EKS с IPv6.

Дополнительные ресурсы для настройки IPv6:

  • Дополнительную информацию о добавлении поддержки IPv6 в вашу VPC см. в разделе Добавление поддержки IPv6 для VPC.
  • Дополнительную информацию о создании новой VPC, совместимой с IPv6, см. в Руководстве по созданию Amazon VPC.
  • Дополнительную информацию о настройке SageMaker HyperPod с настраиваемой Amazon VPC см. в разделе Настройка настраиваемой Amazon VPC для SageMaker HyperPod.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою задачу обучения или модель. Дополнительную информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

ScheduledUpdateConfig -> (структура)

Объект конфигурации расписания, который SageMaker использует для обновления AMI.

ScheduleExpression -> (строка)

Выражение cron, которое указывает расписание, по которому SageMaker обновляет AMI.

DeploymentConfig -> (структура)

Конфигурация, используемая при обновлении версий AMI.

RollingUpdatePolicy -> (структура)

Политика, используемая SageMaker при обновлении версий AMI кластера.

MaximumBatchSize -> (структура)

Максимальное количество экземпляров в кластере, которое SageMaker может обновить за один раз.

Type -> (строка)

Указывает, должен ли SageMaker обрабатывать обновление по количеству или проценту экземпляров.

Value -> (целое число)

Указывает количество или процент экземпляров, которые SageMaker обновляет за один раз.

RollbackMaximumBatchSize -> (структура)

Максимальное количество экземпляров в кластере, которое SageMaker может откатить за один раз.

Type -> (строка)

Указывает, должен ли SageMaker обрабатывать обновление по количеству или проценту экземпляров.

Value -> (целое число)

Указывает количество или процент экземпляров, которые SageMaker обновляет за один раз.

WaitIntervalInSeconds -> (целое число)

Время в секундах, которое SageMaker ожидает перед обновлением дополнительных экземпляров в кластере.

AutoRollbackConfiguration -> (список)

Массив, содержащий оповещения, за которыми SageMaker наблюдает, чтобы узнать, следует ли отменить обновление AMI.

(структура)

Подробности оповещения для отслеживания во время обновления AMI.

AlarmName -> (строка)

Имя оповещения.

Синтаксис JSON:

[
  {
    "InstanceCount": integer,
    "InstanceGroupName": "string",
    "InstanceType": "ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.12xlarge"|"ml.g5.16xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.c5.large"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.12xlarge"|"ml.c5.18xlarge"|"ml.c5.24xlarge"|"ml.c5n.large"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.8xlarge"|"ml.m5.12xlarge"|"ml.m5.16xlarge"|"ml.m5.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.gr6.4xlarge"|"ml.gr6.8xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.trn2.48xlarge"|"ml.c6i.large"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.r6i.large"|"ml.r6i.xlarge"|"ml.r6i.2xlarge"|"ml.r6i.4xlarge"|"ml.r6i.8xlarge"|"ml.r6i.12xlarge"|"ml.r6i.16xlarge"|"ml.r6i.24xlarge"|"ml.r6i.32xlarge"|"ml.i3en.large"|"ml.i3en.xlarge"|"ml.i3en.2xlarge"|"ml.i3en.3xlarge"|"ml.i3en.6xlarge"|"ml.i3en.12xlarge"|"ml.i3en.24xlarge"|"ml.m7i.large"|"ml.m7i.xlarge"|"ml.m7i.2xlarge"|"ml.m7i.4xlarge"|"ml.m7i.8xlarge"|"ml.m7i.12xlarge"|"ml.m7i.16xlarge"|"ml.m7i.24xlarge"|"ml.m7i.48xlarge"|"ml.r7i.large"|"ml.r7i.xlarge"|"ml.r7i.2xlarge"|"ml.r7i.4xlarge"|"ml.r7i.8xlarge"|"ml.r7i.12xlarge"|"ml.r7i.16xlarge"|"ml.r7i.24xlarge"|"ml.r7i.48xlarge",
    "LifeCycleConfig": {
      "SourceS3Uri": "string",
      "OnCreate": "string"
    },
    "ExecutionRole": "string",
    "ThreadsPerCore": integer,
    "InstanceStorageConfigs": [
      {
        "EbsVolumeConfig": {
          "VolumeSizeInGB": integer
        }
      }
      ...
    ],
    "OnStartDeepHealthChecks": ["InstanceStress"|"InstanceConnectivity", ...],
    "TrainingPlanArn": "string",
    "OverrideVpcConfig": {
      "SecurityGroupIds": ["string", ...],
      "Subnets": ["string", ...]
    },
    "ScheduledUpdateConfig": {
      "ScheduleExpression": "string",
      "DeploymentConfig": {
        "RollingUpdatePolicy": {
          "MaximumBatchSize": {
            "Type": "INSTANCE_COUNT"|"CAPACITY_PERCENTAGE",
            "Value": integer
          },
          "RollbackMaximumBatchSize": {
            "Type": "INSTANCE_COUNT"|"CAPACITY_PERCENTAGE",
            "Value": integer
          }
        },
        "WaitIntervalInSeconds": integer,
        "AutoRollbackConfiguration": [
          {
            "AlarmName": "string"
          }
          ...
        ]
      }
    }
  }
  ...
]

--vpc-config (структура)

Указывает виртуальную частную сеть (VPC), связанную с кластером Amazon SageMaker HyperPod. Можно управлять доступом к ресурсам и из них, настроив VPC. Дополнительную информацию см. в разделе Предоставление SageMaker доступа к ресурсам в вашей Amazon VPC.

Примечание

Если ваша Amazon VPC и подсети поддерживают IPv6, сетевые коммуникации отличаются в зависимости от платформы оркестрации кластера:

  • Кластеры, оркестрируемые с помощью Slurm, автоматически настраивают узлы с двойными адресами IPv6 и IPv4, что позволяет сразу начать сетевые коммуникации по IPv6.
  • В кластерах, оркестрируемых с помощью Amazon EKS, узлы получают адресацию с двойной стековой адресацией, но поддомен может использовать IPv6 только в том случае, если кластер Amazon EKS явно поддерживает IPv6. Дополнительную информацию о развертывании кластера Amazon EKS с IPv6 см. в разделе Развертывание кластера Amazon EKS с IPv6.

Дополнительные ресурсы для настройки IPv6:

  • Дополнительную информацию о добавлении поддержки IPv6 в вашу VPC см. в разделе Добавление поддержки IPv6 для VPC.
  • Дополнительную информацию о создании новой VPC, совместимой с IPv6, см. в Руководстве по созданию Amazon VPC.
  • Дополнительную информацию о настройке SageMaker HyperPod с настраиваемой Amazon VPC см. в разделе Настройка настраиваемой Amazon VPC для SageMaker HyperPod.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets.

(строка)

Subnets -> (список)

Идентификатор подсетей в VPC, к которым вы хотите подключить свою задачу обучения или модель. Дополнительную информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.

(строка)

Сокращённый синтаксис:

SecurityGroupIds=string,string,Subnets=string,string

Синтаксис JSON:

{
  "SecurityGroupIds": ["string", ...],
  "Subnets": ["string", ...]
}

--tags (список)

Настраиваемые метки для управления кластером SageMaker HyperPod в качестве ресурса Amazon Web Services. Метки можно добавлять в кластер так же, как и в других службах Amazon Web Services, которые поддерживают метки. Дополнительную информацию о метках ресурсов Amazon Web Services см. в Руководстве пользователя по меткам ресурсов Amazon Web Services.

(структура)

Объект метки, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.

Вы можете добавлять метки к экземплярам ноутбуков, задачам обучения, задачам настройки гиперпараметров, задачам пакетного преобразования, моделям, задачам маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении меток к ресурсам SageMaker см. в разделе Добавление меток.

Дополнительную информацию о добавлении метаданных в ваши ресурсы Amazon Web Services с помощью меток см. в разделе Метки ресурсов Amazon Web Services. Советы по наилучшим методам управления ресурсами Amazon Web Services с помощью меток см. в разделе Лучшие методы меток: внедрение эффективной стратегии меток ресурсов Amazon Web Services.

Key -> (строка)

Ключ метки. Ключи меток должны быть уникальными для каждого ресурса.

Value -> (строка)

Значение метки.

Сокращённый синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--orchestrator (структура)

Тип оркестратора для использования в кластере SageMaker HyperPod. В настоящее время поддерживается только значение "eks", которое использует кластер Amazon Elastic Kubernetes Service (EKS) в качестве оркестратора.

Eks -> (структура)

Кластер Amazon EKS, используемый в качестве оркестратора для кластера SageMaker HyperPod.

ClusterArn -> (строка)

Идентификатор ресурса Amazon (ARN) кластера Amazon EKS, связанного с кластером SageMaker HyperPod.

Сокращенная синтаксис:

Eks={ClusterArn=string}

Синтаксис JSON:

{
  "Eks": {
    "ClusterArn": "string"
  }
}

--node-recovery (строка)

Режим восстановления узлов для кластера SageMaker HyperPod. При установке в значение Automatic, SageMaker HyperPod автоматически перезапустит или заменит неисправные узлы при обнаружении проблем. При установке в значение None администраторам кластера потребуется вручную управлять любыми неисправными экземплярами кластера.

Возможные значения:

  • Automatic
  • None

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью JSON-значения, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, он выведет образец входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверит входные данные команд и вернёт пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантии обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (булево)

Включить отладку регистрации.

--endpoint-url (строка)

Переопределить стандартный URL команды на указанный URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI проверяет сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.

--no-paginate (булево)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

  • json
  • text
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

  • включено
  • выключено
  • автоматически

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружены, если этот параметр предоставлен.

--ca-bundle (строка)

Файл сертификата CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. По умолчанию формат — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое отображается как двоичный блок fileb://, всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (булево)

Отключить пагинатор cli для вывода.

--cli-auto-prompt (булево)

Автоматически запросить параметры CLI ввод.

--no-cli-auto-prompt (булево)

Отключить автоматическое запросы параметров CLI для ввода.

Вывод

ClusterArn -> (строка)

Идентификатор ресурса Amazon (ARN) кластера.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API