создать-преобразование-ml
Описание
Создает преобразование машинного обучения Glue. Данная операция создает преобразование и все необходимые параметры для его обучения.
Вызовите эту операцию как первый шаг в процессе использования преобразования машинного обучения (например, FindMatches преобразования) для удаления дубликатов данных. Вы можете указать необязательные Description, помимо параметров, которые вы хотите использовать для своего алгоритма.
Вы также должны указать определенные параметры для задач, которые Glue выполняет от вашего имени, в рамках обучения на ваших данных и создания качественного преобразования машинного обучения. Эти параметры включают Role, и необязательно, AllocatedCapacity, Timeout и MaxRetries. Дополнительную информацию см. в разделе Задачи.
См. также: Документация API AWS
Синопсис
create-ml-transform
--name <value>
[--description <value>]
--input-record-tables <value>
--parameters <value>
--role <value>
[--glue-version <value>]
[--max-capacity <value>]
[--worker-type <value>]
[--number-of-workers <value>]
[--timeout <value>]
[--max-retries <value>]
[--tags <value>]
[--transform-encryption <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--name (строка)
--description (строка)
--input-record-tables (список)
Список определений таблиц Glue, используемых преобразованием.
(структура)
База данных и таблица в каталоге данных Glue, используемые для входных или выходных данных.
DatabaseName -> (строка)
TableName -> (строка)
CatalogId -> (строка)
ConnectionName -> (строка)
AdditionalOptions -> (мапа)
Дополнительные параметры для таблицы. В настоящее время поддерживаются два ключа:
-
pushDownPredicate: для фильтрации по разделам без перечисления и чтения всех файлов в наборе данных. -
catalogPartitionPredicate: для использования отсечения разделов на стороне сервера с помощью индексов разделов в каталоге данных Glue.
ключ -> (строка)
значение -> (строка)
Сокращенная синтаксическая запись:
DatabaseName=string,TableName=string,CatalogId=string,ConnectionName=string,AdditionalOptions={KeyName1=string,KeyName2=string} ...
Синтаксис JSON:
[
{
"DatabaseName": "string",
"TableName": "string",
"CatalogId": "string",
"ConnectionName": "string",
"AdditionalOptions": {"string": "string"
...}
}
...
]
--parameters (структура)
Параметры алгоритма, специфичные для типа преобразования. Указываются в зависимости от типа преобразования.
TransformType -> (строка)
Тип преобразования машинного обучения.
Дополнительную информацию о типах преобразований машинного обучения см. в разделе Создание преобразований машинного обучения.
FindMatchesParameters -> (структура)
Параметры алгоритма поиска соответствий.
PrimaryKeyColumnName -> (строка)
PrecisionRecallTradeoff -> (двойное)
Значение, выбранное при настройке преобразования для баланса между точностью и полнотой. Значение 0,5 означает отсутствие предпочтений; 1,0 — предпочтение точности; 0,0 — предпочтение полноты. Поскольку это компромисс, выбор значений, близких к 1,0, означает очень низкую полноту, а выбор значений, близких к 0,0, приводит к очень низкой точности.
Метрика точности показывает, насколько часто модель прогнозирует совпадение верно.
Метрика полноты показывает, насколько часто модель предсказывает совпадение для фактического совпадения.
AccuracyCostTradeoff -> (двойное)
Значение, выбранное при настройке преобразования для баланса между точностью и стоимостью. Значение 0,5 означает, что система балансирует точность и затраты. Значение 1,0 означает чистую ориентацию на точность, что, как правило, приводит к более высоким затратам, иногда значительно. Значение 0,0 означает чистую ориентацию на затраты, что приводит к менее точному FindMatches преобразованию, порой с неприемлемой точностью.
Точность измеряет, насколько хорошо преобразование находит истинно-положительные и истинно-отрицательные значения. Повышение точности требует больше вычислительных ресурсов и затрат. Но это также приводит к увеличению полноты.
Стоимость измеряет, сколько вычислительных ресурсов, а значит денег, расходуется на выполнение преобразования.
EnforceProvidedLabels -> (булево)
Значение для включения или отключения принудительного соответствия выходных данных предоставленным меткам пользователя. Если значение равно True, преобразование find matches принудительно соответствует выходным данным предоставленным меткам. Результаты переопределяют обычные результаты слияния. Если значение равно False, преобразование find matches не гарантирует, что все предоставленные метки будут учтены, и результаты зависят от обученной модели.
Обратите внимание, что установка этого значения в true может увеличить время выполнения слияния.
Сокращенная синтаксическая запись:
TransformType=string,FindMatchesParameters={PrimaryKeyColumnName=string,PrecisionRecallTradeoff=double,AccuracyCostTradeoff=double,EnforceProvidedLabels=boolean}
Синтаксис JSON:
{
"TransformType": "FIND_MATCHES",
"FindMatchesParameters": {
"PrimaryKeyColumnName": "string",
"PrecisionRecallTradeoff": double,
"AccuracyCostTradeoff": double,
"EnforceProvidedLabels": true|false
}
}
--role (строка)
Имя или Amazon Resource Name (ARN) роли IAM с необходимыми разрешениями. Необходимые разрешения включают разрешения роли службы Glue на ресурсы Glue и разрешения Amazon S3, необходимые для преобразования.
- Эта роль нуждается в разрешениях роли службы Glue для доступа к ресурсам в Glue. См. Прикрепление политики к пользователям IAM, которые обращаются к Glue.
- Эта роль нуждается в разрешении на ваши источники, целевые ресурсы, временные каталоги, скрипты и любые библиотеки Amazon Simple Storage Service (Amazon S3), используемые выполняемой задачей для этого преобразования.
--glue-version (строка)
--max-capacity (двойное)
Количество единиц обработки данных Glue (DPU), выделенных для задач выполнения этого преобразования. Вы можете выделить от 2 до 100 DPU; по умолчанию — 10. DPU — относительная мера вычислительной мощности, состоящая из 4 vCPU вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице цен Glue.
MaxCapacity — взаимно исключающий параметр с NumberOfWorkers и WorkerType.- Если установлено либо
NumberOfWorkers, либоWorkerType, тоMaxCapacityне может быть установлено. - Если установлено
MaxCapacity, то ниNumberOfWorkers, ниWorkerTypeне могут быть установлены. - Если установлено
WorkerType, тоNumberOfWorkersобязательно (и наоборот). -
MaxCapacityиNumberOfWorkersдолжны быть не меньше 1.
Когда поле WorkerType имеет значение, отличное от Standard, поле MaxCapacity автоматически устанавливается и становится только для чтения.
Когда поле WorkerType имеет значение, отличное от Standard, поле MaxCapacity автоматически устанавливается и становится только для чтения.
--worker-type (строка)
Тип предопределенного рабочего процесса, который выделяется при выполнении этой задачи. Принимает значения Standard, G.1X или G.2X.
- Для типа рабочего процесса
Standardкаждый рабочий предоставляет 4 vCPU, 16 ГБ памяти и диск 50 ГБ, а также 2 исполнителя на рабочего. - Для типа рабочего процесса
G.1Xкаждый рабочий предоставляет 4 vCPU, 16 ГБ памяти и диск 64 ГБ, а также 1 исполнителя на рабочего. - Для типа рабочего процесса
G.2Xкаждый рабочий предоставляет 8 vCPU, 32 ГБ памяти и диск 128 ГБ, а также 1 исполнителя на рабочего.
MaxCapacity — взаимно исключающий параметр с NumberOfWorkers и WorkerType.- Если установлено либо
NumberOfWorkers, либоWorkerType, тоMaxCapacityне может быть установлено. - Если установлено
MaxCapacity, то ниNumberOfWorkers, ниWorkerTypeне могут быть установлены. - Если установлено
WorkerType, тоNumberOfWorkersобязательно (и наоборот). -
MaxCapacityиNumberOfWorkersдолжны быть не меньше 1.
Возможные значения:
StandardG.1XG.2XG.025XG.4XG.8XZ.2X
--number-of-workers (целое число)
Количество рабочих workerType, выделенных при запуске этой задачи.
Если установлено WorkerType, то NumberOfWorkers обязательно (и наоборот).
--timeout (целое число)
TIMEOUT. По умолчанию — 2880 минут (48 часов).--max-retries (целое число)
--tags (мапа)
Теги, используемые с этим преобразованием машинного обучения. Вы можете использовать теги для ограничения доступа к преобразованию машинного обучения. Дополнительную информацию о тегах в Glue см. в справочном руководстве Amazon Web Services Tags in Glue.
ключ -> (строка)
значение -> (строка)
Сокращенная синтаксическая запись:
KeyName1=string,KeyName2=string
Синтаксис JSON:
{"string": "string"
...}
--transform-encryption (структура)
Настройки шифрования на уровне хранения преобразования, которые применяются к доступу к пользовательским данным. Преобразования машинного обучения могут получать доступ к пользовательским данным, зашифрованным в Amazon S3 с помощью KMS.
MlUserDataEncryption -> (структура)
Объект MLUserDataEncryption, содержащий режим шифрования и предоставленный пользователем идентификатор ключа KMS.
MlUserDataEncryptionMode -> (строка)
Режим шифрования, применяемый к пользовательским данным. Допустимые значения:
- DISABLED: шифрование отключено
- SSEKMS: использование шифрования на стороне сервера с помощью Key Management Service (SSE-KMS) для пользовательских данных, хранящихся в Amazon S3.
KmsKeyId -> (строка)
TaskRunSecurityConfigurationName -> (строка)
Сокращенная синтаксическая запись:
MlUserDataEncryption={MlUserDataEncryptionMode=string,KmsKeyId=string},TaskRunSecurityConfigurationName=string
Синтаксис JSON:
{
"MlUserDataEncryption": {
"MlUserDataEncryptionMode": "DISABLED"|"SSE-KMS",
"KmsKeyId": "string"
},
"TaskRunSecurityConfigurationName": "string"
}
--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределяют значения, полученные из JSON. Передавать произвольные двоичные значения с помощью JSON-значения невозможно, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, он выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверит входные данные команды и вернет пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Общие параметры
--debug (boolean)
Включить отладку.
--endpoint-url (string)
Переопределить URL команды на указанный URL.
--no-verify-ssl (boolean)
По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет поведение по умолчанию проверки сертификатов SSL.
--no-paginate (boolean)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.
--output (string)
Стиль форматирования вывода команды.
- json
- text
- table
- yaml
- yaml-stream
--query (string)
Запрос JMESPath для фильтрации данных ответа.
--profile (string)
Использовать определённый профиль из файла аутентификации.
--region (string)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (string)
Отобразить версию инструмента.
--color (string)
Включить/выключить цветной вывод.
- on
- off
- auto
--no-sign-request (boolean)
Не подписывать запросы. Кредиты не будут загружаться, если этот аргумент предоставлен.
--ca-bundle (string)
Файл сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (int)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (int)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (string)
Стиль форматирования, используемый для бинарных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что бинарные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и бинарные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставляемого с бинарным блоком fileb:// всегда будет обрабатываться как бинарный и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (boolean)
Отключить пейджер CLI для вывода.
--cli-auto-prompt (boolean)
Автоматически запрашивать параметры ввода CLI.
--no-cli-auto-prompt (boolean)
Отключить автоматическое запросы параметров ввода CLI.
Вывод
TransformId -> (string)
© Copyright 2025, Amazon Web Services. Created using Sphinx.