get-ml-transform

Описание

Получает артефакт преобразования машинного обучения Glue и все соответствующие метаданные. Преобразования машинного обучения — это особый тип преобразований, которые используют машинное обучение для выявления деталей выполняемого преобразования, обучаясь на примерах, предоставленных пользователями. Эти преобразования сохраняются в Glue. Вы можете получить их метаданные, вызвав GetMLTransform .

См. также: Документацию API AWS

Синтаксис

  get-ml-transform
--transform-id <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--transform-id (строка)

Уникальный идентификатор преобразования, сгенерированный при его создании.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения перепишут значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью предоставленного значения JSON, так как строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса API. При отсутствии значения или значении input выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при предоставлении yaml-input он выведет пример входного YAML, который можно использовать с --cli-input-yaml. При предоставлении значения output он проверит входные данные команды и вернёт пример выходного JSON для этой команды. Сгенерированный каркас JSON не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Глобальные параметры

--debug (логическое значение)

Включить отладку логов.

--endpoint-url (строка)

Переопределить URL по умолчанию для команды на указанный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет стандартное поведение проверки SSL-сертификатов.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команд.

json
text
table
yaml
yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из вашего файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию данного инструмента.

--color (строка)

Включить/выключить вывод цвета.

on
off
auto

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружаться, если этот параметр предоставлен.

--ca-bundle (строка)

Файл сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной строки base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, соответствующего двоичному блоку, fileb:// всегда будет обрабатываться как двоичное и будет использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного параметра cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить вывод пэйджера CLI.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров ввода CLI.

Вывод

TransformId -> (строка)

Уникальный идентификатор преобразования, сгенерированный в момент его создания.

Name -> (строка)

Уникальное имя, присвоенное преобразованию при его создании.

Description -> (строка)

Описание преобразования.

Status -> (строка)

Последний известный статус преобразования (для указания возможности его использования). Одно из значений: «NOT_READY», «READY» или «DELETING».

CreatedOn -> (метка времени)

Дата и время создания преобразования.

LastModifiedOn -> (метка времени)

Дата и время последнего изменения преобразования.

InputRecordTables -> (список)

Список определений таблиц Glue, используемых преобразованием.

(структура)

База данных и таблица в Glue Data Catalog, используемые для входных или выходных данных.

DatabaseName -> (строка)

Имя базы данных в Glue Data Catalog.

TableName -> (строка)

Имя таблицы в Glue Data Catalog.

CatalogId -> (строка)

Уникальный идентификатор Glue Data Catalog.

ConnectionName -> (строка)

Имя подключения к Glue Data Catalog.

AdditionalOptions -> (отображение)

Дополнительные параметры для таблицы. В настоящее время поддерживаются две ключа:

pushDownPredicate : для фильтрации по разделам без необходимости перечисления и чтения всех файлов в наборе данных.
catalogPartitionPredicate : для использования обрезки разделов на стороне сервера с использованием индексов разделов в Glue Data Catalog.

key -> (строка)

value -> (строка)

Parameters -> (структура)

Параметры конфигурации, специфичные для используемого алгоритма.

TransformType -> (строка)

Тип преобразования машинного обучения.

Дополнительную информацию о типах преобразований машинного обучения см. в разделе Создание преобразований машинного обучения .

FindMatchesParameters -> (структура)

Параметры алгоритма поиска соответствий.

PrimaryKeyColumnName -> (строка)

Имя столбца, уникально идентифицирующего строки в исходной таблице. Используется для поиска совпадающих записей.

PrecisionRecallTradeoff -> (двойное)

Значение, выбранное при настройке преобразования для баланса между точностью и полнотой. Значение 0,5 означает отсутствие предпочтения; значение 1,0 означает предпочтение исключительно точности, а значение 0,0 — предпочтение полноте. Поскольку это компромисс, выбор значений, близких к 1,0, означает очень низкую полноту, а выбор значений, близких к 0,0, приводит к очень низкой точности.

Метрика точности указывает, насколько часто модель верна, когда предсказывает соответствие.

Метрика полноты указывает, что для фактического соответствия, насколько часто модель предсказывает соответствие.

AccuracyCostTradeoff -> (двойное)

Значение, выбранное при настройке преобразования для баланса между точностью и стоимостью. Значение 0,5 означает, что система уравновешивает соображения точности и стоимости. Значение 1,0 означает предпочтение исключительно точности, что, как правило, приводит к более высокой стоимости, иногда значительно более высокой. Значение 0,0 означает предпочтение исключительно стоимости, что приводит к менее точному FindMatches преобразованию, порой с неприемлемой точностью.

Точность измеряет, насколько хорошо преобразование находит истинные положительные и истинные отрицательные результаты. Увеличение точности требует больше вычислительных ресурсов и стоимости. Но это также приводит к увеличению полноты.

Стоимость измеряет, сколько вычислительных ресурсов, и, следовательно, денег, затрачивается на выполнение преобразования.

EnforceProvidedLabels -> (логическое)

Значение для включения или выключения принудительного соответствия вывода предоставленным меткам пользователями. Если значение равно True , преобразование find matches принудительно соответствует предоставленным меткам. Результаты перезаписывают обычные результаты слияния. Если значение равно False , преобразование find matches не гарантирует, что все предоставленные метки будут учтены, и результаты зависят от обученной модели.

Обратите внимание, что установка этого значения в true может увеличить время выполнения слияния.

EvaluationMetrics -> (структура)

Последние метрики оценки.

TransformType -> (строка)

Тип преобразования машинного обучения.

FindMatchesMetrics -> (структура)

Метрики оценки для алгоритма поиска соответствий.

AreaUnderPRCurve -> (двойное)

Площадь под кривой точность/полнота (AUPRC) — это одно число, измеряющее общее качество преобразования, которое не зависит от выбранного соотношения точности и полноты. Более высокие значения указывают на более привлекательный компромисс между точностью и полнотой.

Для получения дополнительной информации см. Точность и полнота в Википедии.

Precision -> (двойное)

Метрика точности указывает, насколько часто преобразование верно, когда предсказывает соответствие. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из возможных истинных положительных результатов.

Для получения дополнительной информации см. Точность и полнота в Википедии.

Recall -> (двойное)

Метрика полноты указывает, что для фактического соответствия, насколько часто преобразование предсказывает соответствие. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из всех записей в исходных данных.

Для получения дополнительной информации см. Точность и полнота в Википедии.

F1 -> (двойное)

Максимальная метрика F1 указывает точность преобразования в диапазоне от 0 до 1, где 1 — наилучшая точность.

Для получения дополнительной информации см. Метрику F1 в Википедии.

ConfusionMatrix -> (структура)

Матрица ошибок показывает, что преобразование предсказывает точно и какие типы ошибок оно допускает.

Для получения дополнительной информации см. Матрица ошибок в Википедии.

NumTruePositives -> (целое число с длинной точностью)

Количество совпадений в данных, которые преобразование правильно нашло в матрице ошибок для вашего преобразования.

NumFalsePositives -> (целое число с длинной точностью)

Количество несовпадений в данных, которые преобразование неправильно классифицировало как совпадения в матрице ошибок для вашего преобразования.

NumTrueNegatives -> (целое число с длинной точностью)

Количество несовпадений в данных, которые преобразование правильно отклонило в матрице ошибок для вашего преобразования.

NumFalseNegatives -> (целое число с длинной точностью)

Количество совпадений в данных, которые преобразование не нашло в матрице ошибок для вашего преобразования.

ColumnImportances -> (список)

Список структур ColumnImportance, содержащих метрики важности столбцов, отсортированные по убыванию важности.

(структура)

Структура, содержащая имя столбца и значение важности столбца для столбца.

Важность столбцов помогает понять, как столбцы влияют на модель, определив, какие столбцы в ваших записях важнее других.

ColumnName -> (строка)

Имя столбца.

Importance -> (двойное)

Значение важности столбца для столбца в виде десятичной дроби.

LabelCount -> (целое число)

Количество меток, доступных для этого преобразования.

Schema -> (список)

Объект Map<Column, Type>, представляющий схему, принимаемую этим преобразованием. Имеет верхний предел в 100 столбцов.

(структура)

Пара ключ-значение, представляющие столбец и тип данных, для которых это преобразование может выполняться. Параметр Schema параметра MLTransform может содержать до 100 таких структур.

Name -> (строка)

Имя столбца.

DataType -> (строка)

Тип данных в столбце.

Role -> (строка)

Имя или Amazon Resource Name (ARN) роли IAM с необходимыми разрешениями.

GlueVersion -> (строка)

Это значение определяет, с какой версией Glue совместимо это преобразование машинного обучения. Glue 1.0 рекомендуется большинству клиентов. Если значение не задано, совместимость Glue по умолчанию — Glue 0.9. Для получения дополнительной информации см. версии Glue в руководстве разработчика.

MaxCapacity -> (двойное)

Количество вычислительных единиц данных Glue (DPUs), выделенных для выполнения задач для этого преобразования. Вы можете выделить от 2 до 100 DPU; значение по умолчанию равно 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 виртуальных процессоров (vCPU) вычислительной мощности и 16 ГБ памяти. Для получения дополнительной информации см. страницу ценообразования Glue .

Когда поле WorkerType установлено на значение, отличное от Standard , поле MaxCapacity устанавливается автоматически и становится только для чтения.

WorkerType -> (строка)

Тип предопределенного исполнителя, выделяемого при выполнении этой задачи. Принимает значение Standard, G.1X или G.2X.

Для типа исполнителя Standard каждый исполнитель предоставляет 4 vCPU, 16 ГБ памяти и диск размером 50 ГБ, а также 2 исполнителя на исполнителя.
Для типа исполнителя G.1X каждый исполнитель предоставляет 4 vCPU, 16 ГБ памяти и диск размером 64 ГБ, а также 1 исполнителя на исполнителя.
Для типа исполнителя G.2X каждый исполнитель предоставляет 8 vCPU, 32 ГБ памяти и диск размером 128 ГБ, а также 1 исполнителя на исполнителя.

NumberOfWorkers -> (целое число)

Количество исполнителей определённого типа workerType, которые выделяются при выполнении этой задачи.

Timeout -> (целое число)

Время ожидания выполнения задачи для этого преобразования в минутах. Это максимальное время, которое задача выполнения для этого преобразования может использовать ресурсы, прежде чем она будет завершена и перейдёт в состояние TIMEOUT. Значение по умолчанию — 2880 минут (48 часов).

MaxRetries -> (целое число)

Максимальное количество попыток повторного выполнения задачи для этого преобразования после сбоя выполнения задачи.

TransformEncryption -> (структура)

Параметры шифрования данных преобразования, применяемые к доступу к данным пользователя. Преобразования машинного обучения могут получить доступ к данным пользователя, зашифрованным в Amazon S3 с помощью KMS.

MlUserDataEncryption -> (структура)

Объект MLUserDataEncryption, содержащий режим шифрования и предоставленный пользователем идентификатор ключа KMS.

MlUserDataEncryptionMode -> (строка)

Режим шифрования, применяемый к данным пользователя. Допустимые значения:

DISABLED: шифрование отключено
SSEKMS: использование шифрования на стороне сервера с помощью службы управления ключами (SSE-KMS) для данных пользователя, хранящихся в Amazon S3.

KmsKeyId -> (строка)

Идентификатор предоставленного пользователем ключа KMS.

TaskRunSecurityConfigurationName -> (строка)

Имя конфигурации безопасности.