› › ›

API cat anomaly detectors

API cat предназначены только для использования человеком с помощью командной строки или консоли Kibana. Они не предназначены для использования приложениями. Для использования приложениями используйте API получения статистики задач обнаружения аномалий.

Возвращает конфигурационную и справочную информацию о задачах обнаружения аномалий.

Запрос

GET /_cat/ml/anomaly_detectors/<job_id>

GET /_cat/ml/anomaly_detectors

Предварительные условия

Если функции безопасности Elasticsearch включены, у вас должны быть monitor_ml, monitor, manage_ml или manage привилегии кластера для использования этого API. См. Привилегии безопасности и Привилегии безопасности машинного обучения.

Описание

См. Задачи обнаружения аномалий.

Этот API возвращает максимум 10 000 задач.

Параметры пути

<job_id>: (Необязательный, строка) Идентификатор задачи обнаружения аномалий.

Параметры запроса

allow_no_jobs

(Необязательный, логический) [7.10] Устарело в 7.10. Используйте allow_no_match вместо этого.

allow_no_match

(Необязательный, логический) Определяет, что делать, когда запрос:

Содержит выражения с подстановочными знаками, и нет совпадающих задач.
Содержит строку _all или нет идентификаторов, и нет совпадений.
Содержит выражения с подстановочными знаками, и есть только частичные совпадения.

Значение по умолчанию — true, которое возвращает пустой массив jobs, когда нет совпадений, и подмножество результатов при частичных совпадениях. Если этот параметр — false, запрос возвращает код состояния 404, когда нет совпадений или только частичные совпадения.

bytes

(Необязательный, единицы измерения размера байтов) Единица измерения, используемая для отображения значений байтов.

format

(Необязательный, строка) Короткая версия заголовка HTTP accept. Допустимые значения включают JSON, YAML и т. д.

h

(Необязательный, строка) Список имен столбцов, разделенных запятыми, для отображения.

Если не указать столбцы, API возвращает значения по умолчанию. Если явно указать один или несколько столбцов, возвращаются только указанные столбцы.

Допустимые столбцы:

assignment_explanation, ae

Только для задач обнаружения аномалий, содержит сообщения, относящиеся к выбору узла для выполнения задачи.

buckets.count, bc, bucketsCount

(По умолчанию) Количество результатов ведер, полученных задачей.

buckets.time.exp_avg, btea, bucketsTimeExpAvg

Экспоненциально взвешенное скользящее среднее всех времен обработки ведер в миллисекундах.

buckets.time.exp_avg_hour, bteah, bucketsTimeExpAvgHour

Экспоненциально взвешенное скользящее среднее времен обработки ведер, рассчитанное за 1 час, в миллисекундах.

buckets.time.max, btmax, bucketsTimeMax

Максимальное время обработки всех ведер в миллисекундах.

buckets.time.min, btmin, bucketsTimeMin

Минимальное время обработки всех ведер в миллисекундах.

buckets.time.total, btt, bucketsTimeTotal

Сумма всех времен обработки ведер в миллисекундах.

data.buckets, db, dataBuckets

Количество обработанных ведер.

data.earliest_record, der, dataEarliestRecord

Отметка времени самого раннего документа, входного в хронологическом порядке.

data.empty_buckets, deb, dataEmptyBuckets

Количество ведер, которые не содержали данных. Если ваши данные содержат много пустых ведер, рассмотрите увеличение значения bucket_span или использование функций, которые допускают пробелы в данных, таких как mean, non_null_sum или non_zero_count.

data.input_bytes, dib, dataInputBytes

Количество байтов входных данных, отправленных в задачу обнаружения аномалий.

data.input_fields, dif, dataInputFields

Общее количество полей во входных документах, отправленных в задачу обнаружения аномалий. Этот счет включает поля, которые не используются в анализе. Однако имейте в виду, что если вы используете поток данных, он извлекает только необходимые поля из документов, которые он извлекает, прежде чем отправлять их в задачу.

data.input_records, dir, dataInputRecords

Количество входных документов, отправленных в задачу обнаружения аномалий.

data.invalid_dates, did, dataInvalidDates

Количество входных документов с отсутствующим полем даты или датой, которую невозможно разобрать.

data.last, dl, dataLast

Отметка времени последнего анализа данных по серверному времени.

data.last_empty_bucket, dleb, dataLastEmptyBucket

Отметка времени последнего ведра, не содержащего данных.

data.last_sparse_bucket, dlsb, dataLastSparseBucket

Отметка времени последнего ведра, которое считалось разреженным.

data.latest_record, dlr, dataLatestRecord

Отметка времени последнего входного документа в хронологическом порядке.

data.missing_fields, dmf, dataMissingFields

Количество входных документов, которым не хватает поля, которое задача обнаружения аномалий настроена анализировать. Входные документы с отсутствующими полями все еще обрабатываются, так как возможно, что отсутствуют не все поля.

Если вы используете потоки данных или отправляете данные в задачу в формате JSON, высокий показатель missing_field_count часто не является признаком проблем с данными. Это не обязательно повод для беспокойства.

data.out_of_order_timestamps, doot, dataOutOfOrderTimestamps

Количество входных документов, у которых отметка времени хронологически предшествует началу текущего временного интервала обнаружения аномалий, смещенного на временной интервал задержки. Эта информация применима только когда вы предоставляете данные задаче обнаружения аномалий с помощью API для отправки данных. Такие документы с нарушенным порядком отбрасываются, так как задачи требуют, чтобы временные ряды данных были в возрастающем хронологическом порядке.

data.processed_fields, dpf, dataProcessedFields

Общее количество полей во всех обработанных документах задачей обнаружения аномалий. В этот подсчет входят только поля, указанные в объекте конфигурации детектора. Отметка времени не включена в этот подсчет.

data.processed_records, dpr, dataProcessedRecords

(По умолчанию) Количество входных документов, обработанных задачей обнаружения аномалий. Это значение включает документы с отсутствующими полями, так как они все равно анализируются. Если вы используете потоки данных и у вас есть агрегации в запросе поиска, processed_record_count — это количество обработанных результатов агрегации, а не количество документов Elasticsearch.

data.sparse_buckets, dsb, dataSparseBuckets

Количество ведер, которые содержали мало точек данных по сравнению с ожидаемым количеством точек данных. Если ваши данные содержат много разреженных ведер, рассмотрите использование более длительного bucket_span.

forecasts.memory.avg, fmavg, forecastsMemoryAvg

Среднее использование памяти в байтах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.memory.max, fmmax, forecastsMemoryMax

Максимальное использование памяти в байтах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.memory.min, fmmin, forecastsMemoryMin

Минимальное использование памяти в байтах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.memory.total, fmt, forecastsMemoryTotal

Общее использование памяти в байтах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.records.avg, fravg, forecastsRecordsAvg

Среднее количество model_forecast документов, записанных для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.records.max, frmax, forecastsRecordsMax

Максимальное количество model_forecast документов, записанных для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.records.min, frmin, forecastsRecordsMin

Минимальное количество model_forecast документов, записанных для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.records.total, frt, forecastsRecordsTotal

Общее количество model_forecast документов, записанных для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.time.avg, ftavg, forecastsTimeAvg

Среднее время выполнения в миллисекундах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.time.max, ftmax, forecastsTimeMax

Максимальное время выполнения в миллисекундах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.time.min, ftmin, forecastsTimeMin

Минимальное время выполнения в миллисекундах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.time.total, ftt, forecastsTimeTotal

Общее время выполнения в миллисекундах для прогнозов, связанных с задачей обнаружения аномалий.

forecasts.total, ft, forecastsTotal

(По умолчанию) Количество доступных прогнозов для задачи. Значение 1 или больше указывает на существование прогнозов.

id

(По умолчанию) Идентификатор задачи обнаружения аномалий.

model.bucket_allocation_failures, mbaf, modelBucketAllocationFailures

Количество ведер, для которых новые сущности в поступающих данных не были обработаны из-за недостаточной памяти модели. Эта ситуация также отмечается значением свойства hard_limit: memory_status.

model.by_fields, mbf, modelByFields

Количество значений поля by, которые анализировались моделями. Это значение является кумулятивным для всех детекторов в задаче.

model.bytes, mb, modelBytes

(По умолчанию) Количество байтов памяти, используемых моделями. Это максимальное значение с момента последней сохранения модели. Если задача закрыта, это значение указывает на последний размер.

model.bytes_exceeded, mbe, modelBytesExceeded

Количество байтов, превышающих предел для использования памяти при последней ошибке выделения.

model.categorization_status, mcs, modelCategorizationStatus

Состояние категоризации для задачи. Содержит одно из следующих значений:

ok: Категоризация выполняется приемлемо (или вообще не используется).
warn: Категоризация обнаруживает распределение категорий, которое предполагает, что входные данные не подходят для категоризации. Проблемы могут заключаться в том, что существует только одна категория, более 90% категорий являются редкими, количество категорий больше 50% от количества категоризированных документов, нет часто совпадающих категорий или более 50% категорий неактивны.

model.categorized_doc_count, mcdc, modelCategorizedDocCount

Количество документов, для которых было задано поле категории.

model.dead_category_count, mdcc, modelDeadCategoryCount

Количество категорий, созданных в результате категоризации, которые больше никогда не будут назначены, так как определение другой категории делает её надмножеством устаревшей категории. (Устаревшие категории — побочный эффект того, что категоризация не проходит предварительную подготовку.)

model.failed_category_count, mdcc, modelFailedCategoryCount

Количество попыток категоризации создать новую категорию, но это не удалось, потому что работа достигла своего model_memory_limit. Этот счётчик не отслеживает, какие именно категории не удалось создать. Поэтому по этому значению нельзя определить количество уникальных пропущенных категорий.

model.frequent_category_count, mfcc, modelFrequentCategoryCount

Количество категорий, которые соответствуют более чем 1% классифицированных документов.

model.log_time, mlt, modelLogTime

Отметка времени сбора статистических данных модели по серверному времени.

model.memory_limit, mml, modelMemoryLimit

Максимальное ограничение использования памяти моделью, проверяется при увеличении значений.

model.memory_status, mms, modelMemoryStatus

(По умолчанию) Состояние математических моделей, которое может принимать одно из следующих значений:

ok: Модели остались ниже настроенного значения.
soft_limit: Модели использовали более 60% от заданного лимита памяти, и устаревшие неиспользуемые модели будут удалены, чтобы освободить место. Кроме того, в задачах категоризации больше не будут храниться примеры категорий.
hard_limit: Модели использовали больше места, чем заданный лимит памяти. В результате не все входящие данные были обработаны.

model.over_fields, mof, modelOverFields

Количество значений поля over, проанализированных моделями. Это значение суммарное для всех детекторов в задаче.

model.partition_fields, mpf, modelPartitionFields

Количество значений поля partition, проанализированных моделями. Это значение суммарное для всех детекторов в задаче.

model.rare_category_count, mrcc, modelRareCategoryCount

Количество категорий, которые соответствуют только одному классифицированному документу.

model.timestamp, mt, modelTimestamp

Отметка времени последней записи, когда собирались статистические данные модели.

model.total_category_count, mtcc, modelTotalCategoryCount

Количество созданных категорий в результате категоризации.

node.address, na, nodeAddress

Сетевой адрес узла.

Содержит свойства узла, на котором выполняется задача. Эта информация доступна только для открытых задач.

node.ephemeral_id, ne, nodeEphemeralId

Временный идентификатор узла.

Содержит свойства узла, на котором выполняется задача. Эта информация доступна только для открытых задач.

node.id, ni, nodeId

Уникальный идентификатор узла.

Содержит свойства узла, на котором выполняется задача. Эта информация доступна только для открытых задач.

node.name, nn, nodeName

Имя узла.

Содержит свойства узла, на котором выполняется задача. Эта информация доступна только для открытых задач.

opened_time, ot

Для открытых задач только — время, в течение которого задача была открыта.

state, s

(По умолчанию) Состояние задачи обнаружения аномалий, которое может быть одним из следующих значений:

closed: Задача завершена успешно, и её состояние модели сохранено. Задача должна быть открыта, прежде чем она сможет принимать дополнительные данные.
closing: Действие закрытия задачи выполняется и ещё не завершено. Закрытая задача не может принимать дополнительные данные.
failed: Задача не завершилась успешно из-за ошибки. Эта ситуация может произойти из-за некорректных входных данных, критической ошибки во время анализа или внешнего взаимодействия, например, при завершении процесса операционной системой из-за недостатка памяти (OOM-убийца). Если задача окончательно потерпела неудачу, её необходимо принудительно закрыть, а затем удалить. Если данные канала можно исправить, задачу можно закрыть и снова открыть.
opened: Задача готова к приёму и обработке данных.
opening: Действие открытия задачи выполняется и ещё не завершено.

help

(Необязательно, логическое значение) Если true, ответ включает справочную информацию. По умолчанию — false.

s

(Необязательно, строка) Список столбцов, разделенных запятыми, или псевдонимов столбцов, используемых для сортировки ответа.

time

(Необязательно, единицы измерения времени) Единица измерения для отображения значений времени.

v

(Необязательно, логическое значение) Если true, ответ включает заголовки столбцов. По умолчанию — false.

Примеры

GET _cat/ml/anomaly_detectors?h=id,s,dpr,mb&v=true

id                        s dpr   mb
high_sum_total_sales closed 14022 1.5mb
low_request_rate     closed 1216  40.5kb
response_code_rates  closed 28146 132.7kb
url_scanning         closed 28146 501.6kb

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/cat-anomaly-detectors.html