create-evaluation

Описание

Создаёт новую Evaluation для MLModel . MLModel оценивается по набору наблюдений, связанных с DataSource. Аналогично DataSource для MLModel, DataSource для Evaluation содержит значения для Target Variable. Evaluation сравнивает предсказанный результат для каждого наблюдения с фактическим результатом и предоставляет сводку, позволяющую понять, насколько эффективно MLModel работает на тестовых данных. Оценка генерирует соответствующий метрику производительности, например BinaryAUC, RegressionRMSE или MulticlassAvgFScore, в зависимости от соответствующей MLModelType: BINARY, REGRESSION или MULTICLASS.

Вы можете использовать операцию GetEvaluation, чтобы отслеживать процесс оценки во время её создания.

См. также: AWS API документацию

Синтаксис

  create-evaluation
--evaluation-id <value>
[--evaluation-name <value>]
--ml-model-id <value>
--evaluation-data-source-id <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--evaluation-id (строка)

--evaluation-name (строка)

--ml-model-id (строка)

--evaluation-data-source-id (строка)

--cli-input-json | --cli-input-yaml (строка) Чтение аргументов из предоставленной JSON строки. JSON строка следует формату, предоставляемому --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного JSON, поскольку строка будет взята буквально. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON схему в стандартный вывод без отправки запроса API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который может быть использован в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, выведет пример входного YAML, который может быть использован с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированная JSON схема не является стабильной между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированной JSON схеме.

Глобальные параметры

--debug (булево)

Включение отладки логов.

--endpoint-url (строка)

Переопределение значения URL по умолчанию для команды заданным URL.

--no-verify-ssl (булево)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS сервисами. Для каждого SSL соединения AWS CLI будет проверять SSL сертификаты. Этот параметр переопределяет поведение по умолчанию по проверке SSL сертификатов.

--no-paginate (булево)

Отключение автоматической постраничной навигации. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

• json
• text
• table
• yaml
• yaml-stream

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использование определенного профиля из файла учетных данных.

--region (строка)

Используемый регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отображение версии этого инструмента.

--color (строка)

Включение/выключение цветного вывода.

• on
• off
• auto

--no-sign-request (булево)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл сертификатов CA для проверки SSL сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию - 60 секунд.

--cli-binary-format (строка)

Стиль форматирования для двоичных блоков. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде строки, закодированной в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое соответствует двоичному блоку, fileb:// всегда будет рассматриваться как двоичное и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

• base64
• raw-in-base64-out

--no-cli-pager (булево)

Отключение пейджера cli для вывода.

--cli-auto-prompt (булево)

Автоматическое запросы ввода CLI параметров.

--no-cli-auto-prompt (булево)

Отключение автоматического запроса ввода CLI параметров.

Вывод

EvaluationId -> (строка)