get-accuracy-metrics
Описание
Предоставляет метрики точности моделей, обученных операцией CreatePredictor. Используйте метрики, чтобы увидеть, насколько хорошо модель работала, и чтобы решить, использовать ли предиктор для генерации прогноза. Дополнительную информацию см. в разделе Метрики предиктора.
Эта операция генерирует метрики для каждого тестового окна, которое было проверено. Количество тестовых окон (NumberOfBacktestWindows ) задаётся с помощью объекта EvaluationParameters, который необязательно включается в CreatePredictor запрос. Если NumberOfBacktestWindows не указан, количество по умолчанию равно одному.
Параметры метода filling определяют, какие элементы влияют на метрики. Если вы хотите, чтобы все элементы вносили вклад, укажите zero . Если вы хотите, чтобы вносили вклад только те элементы, которые имеют полные данные в оцениваемом диапазоне, укажите nan . Дополнительную информацию см. в разделе FeaturizationMethod.
Примечание
Перед получением метрик точности,Status предиктора должен быть ACTIVE , что означает завершение обучения. Чтобы получить статус, используйте операцию DescribePredictor.См. также: Документация API AWS
Синтаксис
get-accuracy-metrics
--predictor-arn <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--predictor-arn (строка)
--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставляемому --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные через JSON. Невозможно передать произвольные двоичные значения с помощью JSON-значения, так как строка будет взята буквально. Это не может быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, он выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет нестабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Глобальные параметры
--debug (логическое значение)
Включить отладку логов.
--endpoint-url (строка)
Переопределить URL по умолчанию команды заданным URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.
--no-paginate (логическое значение)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования вывода команды.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определённый профиль из файла ваших учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/отключить цветной вывод.
- включено
- выключено
- автоматически
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружаться, если этот аргумент предоставлен.
--ca-bundle (строка)
Файл с сертификатами CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, сопоставленного с двоичным блоком, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от настроек cli-binary-format. При использовании file:// содержимое файла должно быть правильно отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить паджинг CLI для вывода.
--cli-auto-prompt (логическое значение)
Автоматически запрашивать параметры CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматическое запросов параметров CLI.
Вывод
PredictorEvaluationResults -> (список)
Массив результатов оценки предиктора.
(структура)
Результаты оценки алгоритма. Возвращается в ответ GetAccuracyMetrics.
AlgorithmArn -> (строка)
TestWindows -> (список)
Массив тестовых окон, используемых для оценки алгоритма. NumberOfBacktestWindows из объекта EvaluationParameters определяет количество окон в массиве.
(структура)
Метрики для временного диапазона в оценочной части набора данных. Этот объект является частью объекта EvaluationResult.
TestWindowStart и TestWindowEnd параметры определяются параметром BackTestWindowOffset объекта EvaluationParameters.
TestWindowStart -> (метка времени)
TestWindowEnd -> (метка времени)
ItemCount -> (целое число)
EvaluationType -> (строка)
Тип оценки.
-
SUMMARY- Средние метрики по всем окнам. -
COMPUTED- Метрики для указанного окна.
Metrics -> (структура)
Предоставляет метрики, используемые для оценки производительности предиктора.
RMSE -> (двойное значение)
WeightedQuantileLosses -> (список)
Массив взвешенных потерь квантилей. Квантили делят распределение вероятностей на области равной вероятности. В данном случае распределение — функция потерь.
(структура)
Значение взвешенных потерь для квантиля. Этот объект является частью объекта Metrics.
Quantile -> (двойное значение)
LossValue -> (двойное значение)
ErrorMetrics -> (список)
Предоставляет подробные метрики ошибок для каждого типа прогноза. Метрики включают среднеквадратическую ошибку (RMSE), среднюю абсолютную процентную ошибку (MAPE), среднюю абсолютную масштабированную ошибку (MASE) и среднюю взвешенную процентную ошибку (WAPE).
(структура)
Предоставляет подробные метрики ошибок для оценки производительности предиктора. Этот объект является частью объекта Metrics.
ForecastType -> (строка)
WAPE -> (двойное значение)
RMSE -> (двойное значение)
MASE -> (двойное значение)
MAPE -> (двойное значение)
AverageWeightedQuantileLoss -> (двойное значение)
IsAutoPredictor -> (логическое значение)
AutoMLOverrideStrategy -> (строка)
Примечание
Стратегия переопределения AutoMLLatencyOptimized доступна только в бета-версии. Обратитесь в службу поддержки Amazon Web Services или вашему менеджеру аккаунта, чтобы узнать больше об правах доступа.Стратегия AutoML, используемая для обучения предиктора. Если LatencyOptimized не указан, стратегия AutoML оптимизирует точность предиктора.
Этот параметр действителен только для предикторов, обученных с помощью AutoML.
OptimizationMetric -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.
|
|