Spec-Zone.ru › AWS CLI v2

[ aws . glue ]

get-ml-transforms

Описание

Получает сортируемый и фильтруемый список существующих преобразований машинного обучения Glue. Преобразования машинного обучения — это специальный тип преобразований, использующих машинное обучение для выявления деталей выполняемого преобразования, обучаясь на примерах, предоставленных человеком. Эти преобразования сохраняются Glue, и вы можете получить их метаданные, вызвав GetMLTransforms.

См. также: Документацию API AWS

Синтаксис

  get-ml-transforms
[--next-token <value>]
[--max-results <value>]
[--filter <value>]
[--sort <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--next-token (строка)

Токен для постраничной навигации по результатам.

--max-results (целое число)

Максимальное количество возвращаемых результатов.

--filter (структура)

Критерии фильтрации преобразований.

Name -> (строка)

Уникальное имя преобразования, используемое для фильтрации преобразований машинного обучения.

TransformType -> (строка)

Тип преобразования машинного обучения, используемого для фильтрации преобразований машинного обучения.

Status -> (строка)

Фильтрует список преобразований машинного обучения по последнему известному статусу преобразований (чтобы указать, можно ли использовать преобразование или нет). Одно из значений «NOT_READY», «READY» или «DELETING».

GlueVersion -> (строка)

Это значение определяет, с какой версией Glue совместимо это преобразование машинного обучения. Glue 1.0 рекомендуется для большинства клиентов. Если значение не установлено, совместимость Glue по умолчанию устанавливается на Glue 0.9. Для получения дополнительной информации см. Glue Versions в руководстве разработчика.

CreatedBefore -> (отметка времени)

Время и дата, до которой были созданы преобразования.

CreatedAfter -> (отметка времени)

Время и дата, после которой были созданы преобразования.

LastModifiedBefore -> (отметка времени)

Фильтровать преобразования, изменённые до этой даты.

LastModifiedAfter -> (отметка времени)

Фильтровать преобразования, изменённые после этой даты.

Schema -> (список)

Фильтрация по наборам данных со специфической схемой. Объект Map<Column, Type> — это массив пар ключ-значение, представляющих схему, принимаемую этим преобразованием, где Column — имя столбца, а Type — тип данных, например, целое число или строка. Имеет верхнюю границу в 100 столбцов.

(структура)

Пара ключ-значение, представляющая столбец и тип данных, с которыми может работать это преобразование. Параметр Schema параметра MLTransform может содержать до 100 таких структур.

Name -> (строка)

Имя столбца.

DataType -> (строка)

Тип данных в столбце.

Краткий синтаксис:

Name=string,TransformType=string,Status=string,GlueVersion=string,CreatedBefore=timestamp,CreatedAfter=timestamp,LastModifiedBefore=timestamp,LastModifiedAfter=timestamp,Schema=[{Name=string,DataType=string},{Name=string,DataType=string}]

Синтаксис JSON:

{
  "Name": "string",
  "TransformType": "FIND_MATCHES",
  "Status": "NOT_READY"|"READY"|"DELETING",
  "GlueVersion": "string",
  "CreatedBefore": timestamp,
  "CreatedAfter": timestamp,
  "LastModifiedBefore": timestamp,
  "LastModifiedAfter": timestamp,
  "Schema": [
    {
      "Name": "string",
      "DataType": "string"
    }
    ...
  ]
}

--sort (структура)

Критерии сортировки.

Column -> (строка)

Столбец, используемый в критериях сортировки, связанных с преобразованием машинного обучения.

SortDirection -> (строка)

Направление сортировки, используемое в критериях сортировки, связанных с преобразованием машинного обучения.

Краткий синтаксис:

Column=string,SortDirection=string

Синтаксис JSON:

{
  "Column": "NAME"|"TRANSFORM_TYPE"|"STATUS"|"CREATED"|"LAST_MODIFIED",
  "SortDirection": "DESCENDING"|"ASCENDING"
}

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставляются в командной строке, эти значения будут перезаписывать значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, поскольку строка будет восприниматься буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса к API. При отсутствии значения или значении input выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при указании yaml-input выведет пример входного YAML, который можно использовать с --cli-input-yaml. При указании значения output валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный каркас JSON не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Глобальные параметры

--debug (логическое значение)

Включить отладку логирования.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (логическое значение)

Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

  • json
  • text
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла учетных данных.

--region (строка)

Использовать определенный регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

  • включено
  • выключено
  • автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (строка)

Файл сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет блокирующим и без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, соответствующего двоичному блоку, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить вывод страницы CLI.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров CLI.

Вывод

Преобразования -> (список)

Список преобразований машинного обучения.

(структура)

Структура преобразования машинного обучения.

TransformId -> (строка)

Уникальный идентификатор преобразования, который генерируется для преобразования машинного обучения. Идентификатор гарантированно уникален и не изменяется.

Имя -> (строка)

Определяемое пользователем имя преобразования машинного обучения. Имена не гарантированно уникальны и могут быть изменены в любое время.

Описание -> (строка)

Определяемое пользователем подробное описание преобразования машинного обучения. Описания не гарантированно уникальны и могут быть изменены в любое время.

Статус -> (строка)

Текущий статус преобразования машинного обучения.

Создано -> (отметка времени)

Отметка времени. Время и дата создания преобразования машинного обучения.

Последнее изменение -> (отметка времени)

Отметка времени. Последний момент времени, когда это преобразование машинного обучения было изменено.

InputRecordTables -> (список)

Список определений таблиц Glue, используемых преобразованием.

(структура)

База данных и таблица в Glue Data Catalog, используемые для входных или выходных данных.

Имя базы данных -> (строка)

Имя базы данных в Glue Data Catalog.

Имя таблицы -> (строка)

Имя таблицы в Glue Data Catalog.

Id каталога -> (строка)

Уникальный идентификатор Glue Data Catalog.

Имя подключения -> (строка)

Имя подключения к Glue Data Catalog.

Дополнительные параметры -> (отображение)

Дополнительные параметры для таблицы. В настоящее время поддерживаются две ключи:

  • pushDownPredicate : для фильтрации по разделам без необходимости перечисления и чтения всех файлов в вашем наборе данных.
  • catalogPartitionPredicate : для использования разбиения разделов на стороне сервера с помощью индексов разделов в Glue Data Catalog.

ключ -> (строка)

значение -> (строка)

Параметры -> (структура)

Объект TransformParameters. Вы можете использовать параметры для настройки (настройки) поведения преобразования машинного обучения, указав, какие данные оно изучает, и ваши предпочтения по различным компромиссам (например, точность vs. охват или точность vs. стоимость).

Тип преобразования -> (строка)

Тип преобразования машинного обучения.

Дополнительную информацию о типах преобразований машинного обучения см. в разделе Создание преобразований машинного обучения.

Параметры поиска совпадений -> (структура)

Параметры для алгоритма поиска совпадений.

Имя столбца первичного ключа -> (строка)

Имя столбца, который однозначно идентифицирует строки в исходной таблице. Используется для помощи в идентификации совпадающих записей.

Компромисс точность/охват -> (двойное)

Значение, выбранное при настройке преобразования для баланса между точностью и охватом. Значение 0,5 означает отсутствие предпочтения; значение 1,0 означает смещение только в сторону точности, а значение 0,0 означает смещение в сторону охвата. Поскольку это компромисс, выбор значений, близких к 1,0, означает очень низкий охват, а выбор значений, близких к 0,0, приводит к очень низкой точности.

Метрика точности указывает, как часто ваша модель верна при предсказании совпадения.

Метрика охвата указывает, что для фактического совпадения, как часто ваша модель предсказывает совпадение.

Компромисс точность/стоимость -> (двойное)

Значение, выбранное при настройке преобразования для баланса между точностью и стоимостью. Значение 0,5 означает, что система уравновешивает точность и соображения стоимости. Значение 1,0 означает смещение только в сторону точности, что, как правило, приводит к более высокой стоимости, иногда существенно более высокой. Значение 0,0 означает смещение только в сторону стоимости, что приводит к менее точному FindMatches преобразованию, иногда с неприемлемой точностью.

Точность измеряет, насколько хорошо преобразование находит истинные положительные и истинные отрицательные результаты. Повышение точности требует больше ресурсов машины и стоимости. Но это также приводит к увеличению охвата.

Стоимость измеряет, сколько вычислительных ресурсов, и, следовательно, денег, расходуется для выполнения преобразования.

Принудительное использование предоставленных меток -> (булево)

Значение для включения или выключения принудительного соответствия вывода предоставленным меткам от пользователей. Если значение True , преобразование find matches принудительно соответствует предоставленным меткам. Результаты переопределяют обычные результаты слияния. Если значение False , преобразование find matches не гарантирует, что все предоставленные метки соблюдаются, и результаты зависят от обученной модели.

Обратите внимание, что установка этого значения в true может увеличить время выполнения слияния.

Метрики оценки -> (структура)

Объект EvaluationMetrics. Метрики оценки предоставляют оценку качества вашего преобразования машинного обучения.

Тип преобразования -> (строка)

Тип преобразования машинного обучения.

Метрики оценки поиска совпадений -> (структура)

Метрики оценки для алгоритма поиска совпадений.

Площадь под кривой точность/охват -> (двойное)

Площадь под кривой точность/охват (AUPRC) — это одно число, измеряющее общее качество преобразования, которое независимо от выбора, сделанного для точности vs. охвата. Более высокие значения указывают на то, что у вас более привлекательный компромисс точность/охват.

Дополнительную информацию см. в разделе Точность и охват в Википедии.

Точность -> (двойное)

Метрика точности указывает, как часто ваше преобразование правильно, когда оно предсказывает совпадение. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из возможных истинных положительных результатов.

Дополнительную информацию см. в разделе Точность и охват в Википедии.

Охват -> (двойное)

Метрика охвата указывает, что для фактического совпадения, как часто ваше преобразование предсказывает совпадение. В частности, она измеряет, насколько хорошо преобразование находит истинные положительные результаты из общего числа записей в исходных данных.

Дополнительную информацию см. в разделе Точность и охват в Википедии.

F1 -> (двойное)

Максимальная метрика F1 указывает точность преобразования между 0 и 1, где 1 — лучшая точность.

Дополнительную информацию см. в разделе Метрика F1 в Википедии.

Матрица ошибок -> (структура)

Матрица ошибок показывает, что ваше преобразование предсказывает точно и какие типы ошибок оно допускает.

Дополнительную информацию см. в разделе Матрица ошибок в Википедии.

Количество истинных положительных результатов -> (длинное)

Количество совпадений в данных, которые преобразование правильно нашло в матрице ошибок вашего преобразования.

Количество ложных положительных результатов -> (длинное)

Количество несовпадений в данных, которые преобразование неправильно классифицировало как совпадения в матрице ошибок вашего преобразования.

Количество истинных отрицательных результатов -> (длинное)

Количество несовпадений в данных, которые преобразование правильно отклонило в матрице ошибок вашего преобразования.

Количество ложных отрицательных результатов -> (длинное)

Количество совпадений в данных, которые преобразование не нашло в матрице ошибок вашего преобразования.

Важность столбцов -> (список)

Список структур ColumnImportance, содержащих метрики важности столбцов, отсортированных по убыванию важности.

(структура)

Структура, содержащая имя столбца и оценку важности столбца для столбца.

Важность столбца помогает понять, как столбцы вносят вклад в вашу модель, выявляя, какие столбцы в ваших записях более важны, чем другие.

Имя столбца -> (строка)

Имя столбца.

Важность -> (двойное)

Оценка важности столбца для столбца в виде десятичной дроби.

Количество меток -> (целое число)

Идентификатор подсчета для файлов меток, сгенерированных Glue для этого преобразования. По мере создания лучшего преобразования вы можете итеративно загружать, маркировать и загружать файл меток.

Схема -> (список)

Отображение пар ключ-значение, представляющих столбцы и типы данных, с которыми это преобразование может работать. Имеет верхнюю границу в 100 столбцов.

(структура)

Пара ключ-значение, представляющая столбец и тип данных, с которыми это преобразование может работать. Параметр Schema параметра MLTransform может содержать до 100 таких структур.

Имя -> (строка)

Имя столбца.

Тип данных -> (строка)

Тип данных в столбце.

Роль -> (строка)

Имя или Amazon Resource Name (ARN) роли IAM с необходимыми разрешениями. Необходимые разрешения включают как разрешения роли службы Glue для ресурсов Glue, так и разрешения Amazon S3, необходимые для преобразования.

  • Эта роль нуждается в разрешениях роли службы Glue, чтобы разрешить доступ к ресурсам в Glue. См. Присоединение политики к пользователям IAM, которые получают доступ к Glue.
  • Эта роль нуждается в разрешении доступа к вашим источникам, целевым объектам, временной директории, скриптам и любым библиотекам Amazon Simple Storage Service (Amazon S3), используемым задачей, выполняемой для этого преобразования.

GlueVersion -> (строка)

Это значение определяет, с какой версией Glue совместимо это преобразование машинного обучения. Glue 1.0 рекомендуется для большинства клиентов. Если значение не установлено, совместимость Glue по умолчанию устанавливается в Glue 0.9. Дополнительную информацию см. в руководстве разработчика в разделе Glue Versions.

MaxCapacity -> (двойное)

Количество процессорных блоков Glue (DPUs), выделенных для выполнения задач для этого преобразования. Вы можете выделить от 2 до 100 DPU; по умолчанию установлено значение 10. DPU — это относительная мера вычислительной мощности, состоящая из 4 vCPU вычислительной мощности и 16 ГБ памяти. Дополнительную информацию см. на странице ценообразования Glue.

MaxCapacity — это взаимоисключающий параметр с NumberOfWorkers и WorkerType.
  • Если установлено либо NumberOfWorkers, либо WorkerType, то MaxCapacity не может быть установлено.
  • Если установлено MaxCapacity, то ни NumberOfWorkers, ни WorkerType не могут быть установлены.
  • Если установлено WorkerType, то NumberOfWorkers обязательно (и наоборот).
  • MaxCapacity и NumberOfWorkers должны быть не менее 1.

Когда поле WorkerType установлено в значение, отличное от Standard, поле MaxCapacity автоматически устанавливается и становится только для чтения.

Тип исполнителя -> (строка)

Тип предварительно настроенного рабочего узла, который выделяется при выполнении задачи данного преобразования. Принимает значения Standard, G.1X или G.2X.

  • Для типа рабочего узла Standard каждый рабочий узел предоставляет 4 vCPU, 16 ГБ памяти и диск объемом 50 ГБ, а также 2 исполнителя на рабочий узел.
  • Для типа рабочего узла G.1X каждый рабочий узел предоставляет 4 vCPU, 16 ГБ памяти и диск объемом 64 ГБ, а также 1 исполнителя на рабочий узел.
  • Для типа рабочего узла G.2X каждый рабочий узел предоставляет 8 vCPU, 32 ГБ памяти и диск объемом 128 ГБ, а также 1 исполнителя на рабочий узел.
MaxCapacity — это взаимно исключающая опция с NumberOfWorkers и WorkerType.
  • Если установлено либо NumberOfWorkers, либо WorkerType, то MaxCapacity нельзя установить.
  • Если установлено MaxCapacity, то нельзя установить ни NumberOfWorkers, ни WorkerType.
  • Если установлено WorkerType, то требуется NumberOfWorkers (и наоборот).
  • MaxCapacity и NumberOfWorkers должны быть не меньше 1.

NumberOfWorkers -> (целое число)

Количество рабочих узлов определённого типа workerType, которые выделяются при выполнении задачи преобразования.

Если установлено WorkerType, то требуется NumberOfWorkers (и наоборот).

Timeout -> (целое число)

Время ожидания в минутах для преобразования машинного обучения.

MaxRetries -> (целое число)

Максимальное количество попыток повторной обработки после неудачи преобразования машинного обучения.

TransformEncryption -> (структура)

Настройки шифрования данных преобразования, применяемые к доступу к пользовательским данным. Преобразования машинного обучения могут получать доступ к пользовательским данным, зашифрованным в Amazon S3 с помощью KMS.

MlUserDataEncryption -> (структура)

Объект MLUserDataEncryption, содержащий режим шифрования и предоставленный клиентом идентификатор ключа KMS.

MlUserDataEncryptionMode -> (строка)

Режим шифрования, применяемый к пользовательским данным. Допустимые значения:

  • DISABLED: шифрование отключено
  • SSEKMS: использование серверного шифрования с Key Management Service (SSE-KMS) для пользовательских данных, хранящихся в Amazon S3.

KmsKeyId -> (строка)

Идентификатор предоставленного клиентом ключа KMS.

TaskRunSecurityConfigurationName -> (строка)

Имя конфигурации безопасности.

NextToken -> (строка)

Токен постраничной навигации, если доступны дополнительные результаты.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API