get-ml-transforms
Описание
Получает сортируемый и фильтруемый список существующих преобразований машинного обучения Glue. Преобразования машинного обучения — это специальный тип преобразований, использующих машинное обучение для выявления деталей выполняемого преобразования, обучаясь на примерах, предоставленных человеком. Эти преобразования сохраняются Glue, и вы можете получить их метаданные, вызвав GetMLTransforms.
См. также: Документацию API AWS
Синтаксис
get-ml-transforms
[--next-token <value>]
[--max-results <value>]
[--filter <value>]
[--sort <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--next-token (строка)
--max-results (целое число)
--filter (структура)
Критерии фильтрации преобразований.
Name -> (строка)
TransformType -> (строка)
Status -> (строка)
GlueVersion -> (строка)
CreatedBefore -> (отметка времени)
CreatedAfter -> (отметка времени)
LastModifiedBefore -> (отметка времени)
LastModifiedAfter -> (отметка времени)
Schema -> (список)
Фильтрация по наборам данных со специфической схемой. Объект Map<Column, Type> — это массив пар ключ-значение, представляющих схему, принимаемую этим преобразованием, где Column — имя столбца, а Type — тип данных, например, целое число или строка. Имеет верхнюю границу в 100 столбцов.
(структура)
Пара ключ-значение, представляющая столбец и тип данных, с которыми может работать это преобразование. Параметр Schema параметра MLTransform может содержать до 100 таких структур.
Name -> (строка)
DataType -> (строка)
Краткий синтаксис:
Name=string,TransformType=string,Status=string,GlueVersion=string,CreatedBefore=timestamp,CreatedAfter=timestamp,LastModifiedBefore=timestamp,LastModifiedAfter=timestamp,Schema=[{Name=string,DataType=string},{Name=string,DataType=string}]
Синтаксис JSON:
{
"Name": "string",
"TransformType": "FIND_MATCHES",
"Status": "NOT_READY"|"READY"|"DELETING",
"GlueVersion": "string",
"CreatedBefore": timestamp,
"CreatedAfter": timestamp,
"LastModifiedBefore": timestamp,
"LastModifiedAfter": timestamp,
"Schema": [
{
"Name": "string",
"DataType": "string"
}
...
]
}
--sort (структура)
Критерии сортировки.
Column -> (строка)
SortDirection -> (строка)
Краткий синтаксис:
Column=string,SortDirection=string
Синтаксис JSON:
{
"Column": "NAME"|"TRANSFORM_TYPE"|"STATUS"|"CREATED"|"LAST_MODIFIED",
"SortDirection": "DESCENDING"|"ASCENDING"
}
--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставляются в командной строке, эти значения будут перезаписывать значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, поскольку строка будет восприниматься буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса к API. При отсутствии значения или значении input выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при указании yaml-input выведет пример входного YAML, который можно использовать с --cli-input-yaml. При указании значения output валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный каркас JSON не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.
Глобальные параметры
--debug (логическое значение)
Включить отладку логирования.
--endpoint-url (строка)
Переопределить URL по умолчанию команды заданным URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.
--no-paginate (логическое значение)
Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования вывода команды.
- json
- text
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определённый профиль из файла учетных данных.
--region (строка)
Использовать определенный регион. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- включено
- выключено
- автоматически
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.
--ca-bundle (строка)
Файл сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, соответствующего двоичному блоку, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить вывод страницы CLI.
--cli-auto-prompt (логическое значение)
Автоматически запрашивать параметры CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматическое запросы параметров CLI.
Вывод
Преобразования -> (список)
Список преобразований машинного обучения.
(структура)
Структура преобразования машинного обучения.
TransformId -> (строка)
Имя -> (строка)
Описание -> (строка)
Статус -> (строка)
Создано -> (отметка времени)
Последнее изменение -> (отметка времени)
InputRecordTables -> (список)
Список определений таблиц Glue, используемых преобразованием.
(структура)
База данных и таблица в Glue Data Catalog, используемые для входных или выходных данных.
Имя базы данных -> (строка)
Имя таблицы -> (строка)
Id каталога -> (строка)
Имя подключения -> (строка)
Дополнительные параметры -> (отображение)
Дополнительные параметры для таблицы. В настоящее время поддерживаются две ключи:
-
pushDownPredicate: для фильтрации по разделам без необходимости перечисления и чтения всех файлов в вашем наборе данных. -
catalogPartitionPredicate: для использования разбиения разделов на стороне сервера с помощью индексов разделов в Glue Data Catalog.
ключ -> (строка)
значение -> (строка)
Параметры -> (структура)
Объект TransformParameters. Вы можете использовать параметры для настройки (настройки) поведения преобразования машинного обучения, указав, какие данные оно изучает, и ваши предпочтения по различным компромиссам (например, точность vs. охват или точность vs. стоимость).
Тип преобразования -> (строка)
Тип преобразования машинного обучения.
Дополнительную информацию о типах преобразований машинного обучения см. в разделе Создание преобразований машинного обучения.
Параметры поиска совпадений -> (структура)
Параметры для алгоритма поиска совпадений.
Имя столбца первичного ключа -> (строка)
Компромисс точность/охват -> (двойное)
Значение, выбранное при настройке преобразования для баланса между точностью и охватом. Значение 0,5 означает отсутствие предпочтения; значение 1,0 означает смещение только в сторону точности, а значение 0,0 означает смещение в сторону охвата. Поскольку это компромисс, выбор значений, близких к 1,0, означает очень низкий охват, а выбор значений, близких к 0,0, приводит к очень низкой точности.
Метрика точности указывает, как часто ваша модель верна при предсказании совпадения.
Метрика охвата указывает, что для фактического совпадения, как часто ваша модель предсказывает совпадение.
Компромисс точность/стоимость -> (двойное)
Значение, выбранное при настройке преобразования для баланса между точностью и стоимостью. Значение 0,5 означает, что система уравновешивает точность и соображения стоимости. Значение 1,0 означает смещение только в сторону точности, что, как правило, приводит к более высокой стоимости, иногда существенно более высокой. Значение 0,0 означает смещение только в сторону стоимости, что приводит к менее точному FindMatches преобразованию, иногда с неприемлемой точностью.
Точность измеряет, насколько хорошо преобразование находит истинные положительные и истинные отрицательные результаты. Повышение точности требует больше ресурсов машины и стоимости. Но это также приводит к увеличению охвата.
Стоимость измеряет, сколько вычислительных ресурсов, и, следовательно, денег, расходуется для выполнения преобразования.
Принудительное использование предоставленных меток -> (булево)
Значение для включения или выключения принудительного соответствия вывода предоставленным меткам от пользователей. Если значение True , преобразование find matches принудительно соответствует предоставленным меткам. Результаты переопределяют обычные результаты слияния. Если значение False , преобразование find matches не гарантирует, что все предоставленные метки соблюдаются, и результаты зависят от обученной модели.
Обратите внимание, что установка этого значения в true может увеличить время выполнения слияния.
Метрики оценки -> (структура)
Объект EvaluationMetrics. Метрики оценки предоставляют оценку качества вашего преобразования машинного обучения.
Тип преобразования -> (строка)
Метрики оценки поиска совпадений -> (структура)
Метрики оценки для алгоритма поиска совпадений.
Площадь под кривой точность/охват -> (двойное)
Площадь под кривой точность/охват (AUPRC) — это одно число, измеряющее общее качество преобразования, которое независимо от выбора, сделанного для точности vs. охвата. Более высокие значения указывают на то, что у вас более привлекательный компромисс точность/охват.
Дополнительную информацию см. в разделе Точность и охват в Википедии.
Точность -> (двойное)
Метрика точности указывает, как часто ваше преобразование правильно, когда оно предсказывает совпадение. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из возможных истинных положительных результатов.
Дополнительную информацию см. в разделе Точность и охват в Википедии.
Охват -> (двойное)
Метрика охвата указывает, что для фактического совпадения, как часто ваше преобразование предсказывает совпадение. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из общего числа записей в исходных данных.
Дополнительную информацию см. в разделе Точность и охват в Википедии.
F1 -> (двойное)
Максимальная метрика F1 указывает точность преобразования между 0 и 1, где 1 — лучшая точность.
Дополнительную информацию см. в разделе Метрика F1 в Википедии.
Матрица ошибок -> (структура)
Матрица ошибок показывает, что ваше преобразование предсказывает точно и какие типы ошибок оно допускает.
Дополнительную информацию см. в разделе Матрица ошибок в Википедии.
Количество истинных положительных результатов -> (длинное)
Количество ложных положительных результатов -> (длинное)
Количество истинных отрицательных результатов -> (длинное)
Количество ложных отрицательных результатов -> (длинное)
Важность столбцов -> (список)
Список структур ColumnImportance, содержащих метрики важности столбцов, отсортированных по убыванию важности.
(структура)
Структура, содержащая имя столбца и оценку важности столбца для столбца.
Важность столбца помогает понять, как столбцы вносят вклад в вашу модель, выявляя, какие столбцы в ваших записях более важны, чем другие.
Имя столбца -> (строка)
Важность -> (двойное)
Количество меток -> (целое число)
Схема -> (список)
Отображение пар ключ-значение, представляющих столбцы и типы данных, с которыми это преобразование может работать. Имеет верхнюю границу в 100 столбцов.
(структура)
Пара ключ-значение, представляющая столбец и тип данных, с которыми это преобразование может работать. Параметр Schema параметра MLTransform может содержать до 100 таких структур.
Имя -> (строка)
Тип данных -> (строка)
Роль -> (строка)
Имя или Amazon Resource Name (ARN) роли IAM с необходимыми разрешениями. Необходимые разрешения включают как разрешения роли службы Glue для ресурсов Glue, так и разрешения Amazon S3, необходимые для преобразования.
- Эта роль нуждается в разрешениях роли службы Glue, чтобы разрешить доступ к ресурсам в Glue. См. Присоединение политики к пользователям IAM, которые получают доступ к Glue.
- Эта роль нуждается в разрешении доступа к вашим источникам, целевым объектам, временной директории, скриптам и любым библиотекам Amazon Simple Storage Service (Amazon S3), используемым задачей, выполняемой для этого преобразования.
GlueVersion -> (строка)
MaxCapacity -> (двойное)
Количество процессорных блоков Glue (DPUs), выделенных для выполнения задач для этого преобразования. Вы можете выделить от 2 до 100 DPU; по умолчанию установлено значение 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 vCPU вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.
MaxCapacity — это взаимоисключающий параметр с NumberOfWorkers и WorkerType.- Если установлено либо
NumberOfWorkers, либоWorkerType, тоMaxCapacityне может быть установлено. - Если установлено
MaxCapacity, то ниNumberOfWorkers, ниWorkerTypeне могут быть установлены. - Если установлено
WorkerType, тоNumberOfWorkersобязательно (и наоборот). -
MaxCapacityиNumberOfWorkersдолжны быть не менее 1.
Когда поле WorkerType установлено в значение, отличное от Standard, поле MaxCapacity автоматически устанавливается и становится только для чтения.
Тип исполнителя -> (строка)
Тип предварительно настроенного рабочего узла, который выделяется при выполнении задачи данного преобразования. Принимает значения Standard, G.1X или G.2X.
- Для типа рабочего узла
Standardкаждый рабочий узел предоставляет 4 vCPU, 16 ГБ памяти и диск объемом 50 ГБ, а также 2 исполнителя на рабочий узел. - Для типа рабочего узла
G.1Xкаждый рабочий узел предоставляет 4 vCPU, 16 ГБ памяти и диск объемом 64 ГБ, а также 1 исполнителя на рабочий узел. - Для типа рабочего узла
G.2Xкаждый рабочий узел предоставляет 8 vCPU, 32 ГБ памяти и диск объемом 128 ГБ, а также 1 исполнителя на рабочий узел.
MaxCapacity — это взаимно исключающая опция с NumberOfWorkers и WorkerType.- Если установлено либо
NumberOfWorkers, либоWorkerType, тоMaxCapacityнельзя установить. - Если установлено
MaxCapacity, то нельзя установить ниNumberOfWorkers, ниWorkerType. - Если установлено
WorkerType, то требуетсяNumberOfWorkers(и наоборот). -
MaxCapacityиNumberOfWorkersдолжны быть не меньше 1.
NumberOfWorkers -> (целое число)
Количество рабочих узлов определённого типа workerType, которые выделяются при выполнении задачи преобразования.
Если установлено WorkerType, то требуется NumberOfWorkers (и наоборот).
Timeout -> (целое число)
MaxRetries -> (целое число)
TransformEncryption -> (структура)
Настройки шифрования данных преобразования, применяемые к доступу к пользовательским данным. Преобразования машинного обучения могут получать доступ к пользовательским данным, зашифрованным в Amazon S3 с помощью KMS.
MlUserDataEncryption -> (структура)
Объект MLUserDataEncryption, содержащий режим шифрования и предоставленный клиентом идентификатор ключа KMS.
MlUserDataEncryptionMode -> (строка)
Режим шифрования, применяемый к пользовательским данным. Допустимые значения:
- DISABLED: шифрование отключено
- SSEKMS: использование серверного шифрования с Key Management Service (SSE-KMS) для пользовательских данных, хранящихся в Amazon S3.
KmsKeyId -> (строка)
TaskRunSecurityConfigurationName -> (строка)
NextToken -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.