create-cluster
Описание
Создаёт кластер SageMaker HyperPod. SageMaker HyperPod — это возможность SageMaker для создания и управления постоянными кластерами для разработки больших моделей машинного обучения, таких как большие языковые модели (LLM) и модели диффузии. Для получения дополнительной информации см. Amazon SageMaker HyperPod в Руководстве разработчика Amazon SageMaker.
См. также: Документацию API AWS
Синтаксис
create-cluster
--cluster-name <value>
--instance-groups <value>
[--vpc-config <value>]
[--tags <value>]
[--orchestrator <value>]
[--node-recovery <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--cluster-name (строка)
--instance-groups (список)
Группы экземпляров, которые будут созданы в кластере SageMaker HyperPod.
(структура)
Характеристики группы экземпляров, которые необходимо определить.
InstanceCount -> (целое число)
InstanceGroupName -> (строка)
InstanceType -> (строка)
LifeCycleConfig -> (структура)
Указывает конфигурацию жизненного цикла для группы экземпляров.
SourceS3Uri -> (строка)
Путь к ведру Amazon S3, где хранятся скрипты жизненного цикла.
Предупреждение
Убедитесь, что путь к ведру S3 начинается сs3://sagemaker- . Роль IAM для SageMaker HyperPod имеет прикрепленный управляемый ` AmazonSageMakerClusterInstanceRolePolicy https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html`__, который позволяет получить доступ к ведрам S3 со специфическим префиксом sagemaker- .OnCreate -> (строка)
SourceS3Uri . Этот скрипт точки входа выполняется во время создания кластера.ExecutionRole -> (строка)
ThreadsPerCore -> (целое число)
1 для отключения многопоточности и 2 для включения многопоточности. Для типов экземпляров, которые не поддерживают многопоточность, укажите 1 . Дополнительную информацию см. в справочной таблице ЦП и потоков на ядро ЦП на тип экземпляра в Руководстве пользователя Amazon Elastic Compute Cloud.InstanceStorageConfigs -> (список)
Указывает дополнительные конфигурации хранения для экземпляров в группе экземпляров кластера SageMaker HyperPod.
(структура объединённого тега)
Определяет конфигурацию для подключения дополнительного хранилища к экземплярам в группе экземпляров кластера SageMaker HyperPod. Дополнительные сведения см. в примечаниях к выпуску SageMaker HyperPod от 20 июня 2024 г.
Примечание
Это структура объединённого тега. Можно установить только один из следующих верхнеуровневых ключей:EbsVolumeConfig.EbsVolumeConfig -> (структура)
Определяет конфигурацию для подключения дополнительных томов Amazon Elastic Block Store (EBS) к экземплярам в группе экземпляров кластера SageMaker HyperPod. Дополнительный том EBS подключается к каждому экземпляру внутри группы экземпляров кластера SageMaker HyperPod и монтируется к /opt/sagemaker .
VolumeSizeInGB -> (целое число)
/opt/sagemaker .OnStartDeepHealthChecks -> (список)
Флаг, указывающий, следует ли выполнять глубокую проверку работоспособности при создании или обновлении группы экземпляров кластера.
(строка)
TrainingPlanArn -> (строка)
Идентификатор ресурса Amazon (ARN) плана обучения для использования в этой группе экземпляров кластера.
Дополнительную информацию о том, как зарезервировать емкость GPU для кластеров SageMaker HyperPod с помощью Amazon SageMaker Training Plan, см. в разделе `` CreateTrainingPlan ``.
OverrideVpcConfig -> (структура)
Для настройки многозонных развертываний можно настроить конфигурацию Amazon VPC на уровне группы экземпляров. Можно указать разные подсети и группы безопасности в различных зонах доступности в спецификации группы экземпляров, чтобы переопределить стандартную конфигурацию Amazon VPC кластера SageMaker HyperPod. Дополнительную информацию о развертывании кластера в нескольких зонах доступности см. в разделе Настройка кластеров SageMaker HyperPod в нескольких зонах доступности.
Примечание
Если ваша Amazon VPC и подсети поддерживают IPv6, сетевые коммуникации отличаются в зависимости от платформы оркестрации кластера:
- Кластеры, оркестрируемые с помощью Slurm, автоматически настраивают узлы с двойными адресами IPv6 и IPv4, что позволяет сразу начать сетевые коммуникации по IPv6.
- В кластерах, оркестрируемых с помощью Amazon EKS, узлы получают адресацию с двойной стековой адресацией, но поддомен может использовать IPv6 только в том случае, если кластер Amazon EKS явно поддерживает IPv6. Дополнительную информацию о развертывании кластера Amazon EKS с IPv6 см. в разделе Развертывание кластера Amazon EKS с IPv6.
Дополнительные ресурсы для настройки IPv6:
- Дополнительную информацию о добавлении поддержки IPv6 в вашу VPC см. в разделе Добавление поддержки IPv6 для VPC.
- Дополнительную информацию о создании новой VPC, совместимой с IPv6, см. в Руководстве по созданию Amazon VPC.
- Дополнительную информацию о настройке SageMaker HyperPod с настраиваемой Amazon VPC см. в разделе Настройка настраиваемой Amazon VPC для SageMaker HyperPod.
SecurityGroupIds -> (список)
Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets.
(строка)
Subnets -> (список)
Идентификатор подсетей в VPC, к которым вы хотите подключить свою задачу обучения или модель. Дополнительную информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.
(строка)
ScheduledUpdateConfig -> (структура)
Объект конфигурации расписания, который SageMaker использует для обновления AMI.
ScheduleExpression -> (строка)
DeploymentConfig -> (структура)
Конфигурация, используемая при обновлении версий AMI.
RollingUpdatePolicy -> (структура)
Политика, используемая SageMaker при обновлении версий AMI кластера.
MaximumBatchSize -> (структура)
Максимальное количество экземпляров в кластере, которое SageMaker может обновить за один раз.
Type -> (строка)
Value -> (целое число)
RollbackMaximumBatchSize -> (структура)
Максимальное количество экземпляров в кластере, которое SageMaker может откатить за один раз.
Type -> (строка)
Value -> (целое число)
WaitIntervalInSeconds -> (целое число)
AutoRollbackConfiguration -> (список)
Массив, содержащий оповещения, за которыми SageMaker наблюдает, чтобы узнать, следует ли отменить обновление AMI.
(структура)
Подробности оповещения для отслеживания во время обновления AMI.
AlarmName -> (строка)
Синтаксис JSON:
[
{
"InstanceCount": integer,
"InstanceGroupName": "string",
"InstanceType": "ml.p4d.24xlarge"|"ml.p4de.24xlarge"|"ml.p5.48xlarge"|"ml.trn1.32xlarge"|"ml.trn1n.32xlarge"|"ml.g5.xlarge"|"ml.g5.2xlarge"|"ml.g5.4xlarge"|"ml.g5.8xlarge"|"ml.g5.12xlarge"|"ml.g5.16xlarge"|"ml.g5.24xlarge"|"ml.g5.48xlarge"|"ml.c5.large"|"ml.c5.xlarge"|"ml.c5.2xlarge"|"ml.c5.4xlarge"|"ml.c5.9xlarge"|"ml.c5.12xlarge"|"ml.c5.18xlarge"|"ml.c5.24xlarge"|"ml.c5n.large"|"ml.c5n.2xlarge"|"ml.c5n.4xlarge"|"ml.c5n.9xlarge"|"ml.c5n.18xlarge"|"ml.m5.large"|"ml.m5.xlarge"|"ml.m5.2xlarge"|"ml.m5.4xlarge"|"ml.m5.8xlarge"|"ml.m5.12xlarge"|"ml.m5.16xlarge"|"ml.m5.24xlarge"|"ml.t3.medium"|"ml.t3.large"|"ml.t3.xlarge"|"ml.t3.2xlarge"|"ml.g6.xlarge"|"ml.g6.2xlarge"|"ml.g6.4xlarge"|"ml.g6.8xlarge"|"ml.g6.16xlarge"|"ml.g6.12xlarge"|"ml.g6.24xlarge"|"ml.g6.48xlarge"|"ml.gr6.4xlarge"|"ml.gr6.8xlarge"|"ml.g6e.xlarge"|"ml.g6e.2xlarge"|"ml.g6e.4xlarge"|"ml.g6e.8xlarge"|"ml.g6e.16xlarge"|"ml.g6e.12xlarge"|"ml.g6e.24xlarge"|"ml.g6e.48xlarge"|"ml.p5e.48xlarge"|"ml.p5en.48xlarge"|"ml.trn2.48xlarge"|"ml.c6i.large"|"ml.c6i.xlarge"|"ml.c6i.2xlarge"|"ml.c6i.4xlarge"|"ml.c6i.8xlarge"|"ml.c6i.12xlarge"|"ml.c6i.16xlarge"|"ml.c6i.24xlarge"|"ml.c6i.32xlarge"|"ml.m6i.large"|"ml.m6i.xlarge"|"ml.m6i.2xlarge"|"ml.m6i.4xlarge"|"ml.m6i.8xlarge"|"ml.m6i.12xlarge"|"ml.m6i.16xlarge"|"ml.m6i.24xlarge"|"ml.m6i.32xlarge"|"ml.r6i.large"|"ml.r6i.xlarge"|"ml.r6i.2xlarge"|"ml.r6i.4xlarge"|"ml.r6i.8xlarge"|"ml.r6i.12xlarge"|"ml.r6i.16xlarge"|"ml.r6i.24xlarge"|"ml.r6i.32xlarge"|"ml.i3en.large"|"ml.i3en.xlarge"|"ml.i3en.2xlarge"|"ml.i3en.3xlarge"|"ml.i3en.6xlarge"|"ml.i3en.12xlarge"|"ml.i3en.24xlarge"|"ml.m7i.large"|"ml.m7i.xlarge"|"ml.m7i.2xlarge"|"ml.m7i.4xlarge"|"ml.m7i.8xlarge"|"ml.m7i.12xlarge"|"ml.m7i.16xlarge"|"ml.m7i.24xlarge"|"ml.m7i.48xlarge"|"ml.r7i.large"|"ml.r7i.xlarge"|"ml.r7i.2xlarge"|"ml.r7i.4xlarge"|"ml.r7i.8xlarge"|"ml.r7i.12xlarge"|"ml.r7i.16xlarge"|"ml.r7i.24xlarge"|"ml.r7i.48xlarge",
"LifeCycleConfig": {
"SourceS3Uri": "string",
"OnCreate": "string"
},
"ExecutionRole": "string",
"ThreadsPerCore": integer,
"InstanceStorageConfigs": [
{
"EbsVolumeConfig": {
"VolumeSizeInGB": integer
}
}
...
],
"OnStartDeepHealthChecks": ["InstanceStress"|"InstanceConnectivity", ...],
"TrainingPlanArn": "string",
"OverrideVpcConfig": {
"SecurityGroupIds": ["string", ...],
"Subnets": ["string", ...]
},
"ScheduledUpdateConfig": {
"ScheduleExpression": "string",
"DeploymentConfig": {
"RollingUpdatePolicy": {
"MaximumBatchSize": {
"Type": "INSTANCE_COUNT"|"CAPACITY_PERCENTAGE",
"Value": integer
},
"RollbackMaximumBatchSize": {
"Type": "INSTANCE_COUNT"|"CAPACITY_PERCENTAGE",
"Value": integer
}
},
"WaitIntervalInSeconds": integer,
"AutoRollbackConfiguration": [
{
"AlarmName": "string"
}
...
]
}
}
}
...
]
--vpc-config (структура)
Указывает виртуальную частную сеть (VPC), связанную с кластером Amazon SageMaker HyperPod. Можно управлять доступом к ресурсам и из них, настроив VPC. Дополнительную информацию см. в разделе Предоставление SageMaker доступа к ресурсам в вашей Amazon VPC.
Примечание
Если ваша Amazon VPC и подсети поддерживают IPv6, сетевые коммуникации отличаются в зависимости от платформы оркестрации кластера:
- Кластеры, оркестрируемые с помощью Slurm, автоматически настраивают узлы с двойными адресами IPv6 и IPv4, что позволяет сразу начать сетевые коммуникации по IPv6.
- В кластерах, оркестрируемых с помощью Amazon EKS, узлы получают адресацию с двойной стековой адресацией, но поддомен может использовать IPv6 только в том случае, если кластер Amazon EKS явно поддерживает IPv6. Дополнительную информацию о развертывании кластера Amazon EKS с IPv6 см. в разделе Развертывание кластера Amazon EKS с IPv6.
Дополнительные ресурсы для настройки IPv6:
- Дополнительную информацию о добавлении поддержки IPv6 в вашу VPC см. в разделе Добавление поддержки IPv6 для VPC.
- Дополнительную информацию о создании новой VPC, совместимой с IPv6, см. в Руководстве по созданию Amazon VPC.
- Дополнительную информацию о настройке SageMaker HyperPod с настраиваемой Amazon VPC см. в разделе Настройка настраиваемой Amazon VPC для SageMaker HyperPod.
SecurityGroupIds -> (список)
Идентификаторы групп безопасности VPC в формате sg-xxxxxxxx . Укажите группы безопасности для VPC, указанной в поле Subnets.
(строка)
Subnets -> (список)
Идентификатор подсетей в VPC, к которым вы хотите подключить свою задачу обучения или модель. Дополнительную информацию о доступности определённых типов экземпляров см. в разделе Поддерживаемые типы экземпляров и зоны доступности.
(строка)
Сокращённый синтаксис:
SecurityGroupIds=string,string,Subnets=string,string
Синтаксис JSON:
{
"SecurityGroupIds": ["string", ...],
"Subnets": ["string", ...]
}
--tags (список)
Настраиваемые метки для управления кластером SageMaker HyperPod в качестве ресурса Amazon Web Services. Метки можно добавлять в кластер так же, как и в других службах Amazon Web Services, которые поддерживают метки. Дополнительную информацию о метках ресурсов Amazon Web Services см. в Руководстве пользователя по меткам ресурсов Amazon Web Services.
(структура)
Объект метки, состоящий из ключа и необязательного значения, используемый для управления метаданными для ресурсов SageMaker Amazon Web Services.
Вы можете добавлять метки к экземплярам ноутбуков, задачам обучения, задачам настройки гиперпараметров, задачам пакетного преобразования, моделям, задачам маркировки, рабочим группам, конфигурациям конечных точек и конечным точкам. Дополнительную информацию о добавлении меток к ресурсам SageMaker см. в разделе Добавление меток.
Дополнительную информацию о добавлении метаданных в ваши ресурсы Amazon Web Services с помощью меток см. в разделе Метки ресурсов Amazon Web Services. Советы по наилучшим методам управления ресурсами Amazon Web Services с помощью меток см. в разделе Лучшие методы меток: внедрение эффективной стратегии меток ресурсов Amazon Web Services.
Key -> (строка)
Value -> (строка)
Сокращённый синтаксис:
Key=string,Value=string ...
Синтаксис JSON:
[
{
"Key": "string",
"Value": "string"
}
...
]
--orchestrator (структура)
Тип оркестратора для использования в кластере SageMaker HyperPod. В настоящее время поддерживается только значение "eks", которое использует кластер Amazon Elastic Kubernetes Service (EKS) в качестве оркестратора.
Eks -> (структура)
Кластер Amazon EKS, используемый в качестве оркестратора для кластера SageMaker HyperPod.
ClusterArn -> (строка)
Сокращенная синтаксис:
Eks={ClusterArn=string}
Синтаксис JSON:
{
"Eks": {
"ClusterArn": "string"
}
}
--node-recovery (строка)
Режим восстановления узлов для кластера SageMaker HyperPod. При установке в значение Automatic, SageMaker HyperPod автоматически перезапустит или заменит неисправные узлы при обнаружении проблем. При установке в значение None администраторам кластера потребуется вручную управлять любыми неисправными экземплярами кластера.
Возможные значения:
AutomaticNone
--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью JSON-значения, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, он выведет образец входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверит входные данные команд и вернёт пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантии обратной совместимости в сгенерированном JSON-скелете.
Глобальные параметры
--debug (булево)
Включить отладку регистрации.
--endpoint-url (строка)
Переопределить стандартный URL команды на указанный URL.
--no-verify-ssl (булево)
По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI проверяет сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.
--no-paginate (булево)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования вывода команды.
- json
- text
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определенный профиль из файла учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- включено
- выключено
- автоматически
--no-sign-request (булево)
Не подписывать запросы. Учетные данные не будут загружены, если этот параметр предоставлен.
--ca-bundle (строка)
Файл сертификата CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования для двоичных блоков. По умолчанию формат — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое отображается как двоичный блок fileb://, всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (булево)
Отключить пагинатор cli для вывода.
--cli-auto-prompt (булево)
Автоматически запросить параметры CLI ввод.
--no-cli-auto-prompt (булево)
Отключить автоматическое запросы параметров CLI для ввода.
Вывод
ClusterArn -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.