API получения возможностей работы с агрегацией данных (rollup job)

GET _rollup/data/<index>

Этот API полезен, так как задача агрегации данных (rollup job) часто настраивается для агрегации только подмножества полей из исходного индекса. Кроме того, для различных полей могут быть настроены только определённые агрегации, что приводит к ограниченному подмножеству функциональности в зависимости от этой конфигурации.

Этот API позволяет вам проверить индекс и определить:

Представьте, что у нас есть индекс под названием sensor-1, заполненный сырыми данными. Мы знаем, что данные будут расти со временем, поэтому будут sensor-2, sensor-3 и т.д. Давайте создадим задачу агрегации данных, которая будет использовать шаблон индексов sensor-*, чтобы учесть это будущее масштабирование:

PUT _rollup/job/sensor
{
  "index_pattern": "sensor-*",
  "rollup_index": "sensor_rollup",
  "cron": "*/30 * * * * ?",
  "page_size": 1000,
  "groups": {
    "date_histogram": {
      "field": "timestamp",
      "fixed_interval": "1h",
      "delay": "7d"
    },
    "terms": {
      "fields": [ "node" ]
    }
  },
  "metrics": [
    {
      "field": "temperature",
      "metrics": [ "min", "max", "sum" ]
    },
    {
      "field": "voltage",
      "metrics": [ "avg" ]
    }
  ]
}

Затем мы можем получить возможности работы с агрегацией данных для этого шаблона индексов (sensor-*) с помощью следующей команды:

GET _rollup/data/sensor-*

Что вернёт следующий ответ:

{
  "sensor-*" : {
    "rollup_jobs" : [
      {
        "job_id" : "sensor",
        "rollup_index" : "sensor_rollup",
        "index_pattern" : "sensor-*",
        "fields" : {
          "node" : [
            {
              "agg" : "terms"
            }
          ],
          "temperature" : [
            {
              "agg" : "min"
            },
            {
              "agg" : "max"
            },
            {
              "agg" : "sum"
            }
          ],
          "timestamp" : [
            {
              "agg" : "date_histogram",
              "time_zone" : "UTC",
              "fixed_interval" : "1h",
              "delay": "7d"
            }
          ],
          "voltage" : [
            {
              "agg" : "avg"
            }
          ]
        }
      }
    ]
  }
}

Возвращаемый ответ содержит информацию, аналогичную исходной конфигурации агрегации данных, но в другом формате. Во-первых, есть некоторые служебные данные: идентификатор задачи агрегации данных, индекс, содержащий данные после агрегации, и шаблон индексов, для которого была настроена задача.

Далее показан список полей, содержащих данные, пригодные для поиска с использованием агрегации. Здесь мы видим четыре поля: node, temperature, timestamp и voltage. Каждое из этих полей перечисляет возможные агрегации. Например, для поля temperature можно использовать агрегации min, max или sum, но только агрегацию date_histogram для поля timestamp.

Обратите внимание, что элемент rollup_jobs является массивом; может быть несколько независимых задач агрегации, настроенных для одного индекса или шаблона индексов. Каждая из этих задач может иметь разные конфигурации, поэтому API возвращает список всех доступных конфигураций.

Мы также могли бы получить ту же информацию с запросом к _all:

GET _rollup/data/_all

Но обратите внимание, что если мы используем конкретное имя индекса (sensor-1), мы не получим никакой информации об агрегациях:

GET _rollup/data/sensor-1

{

}

Почему так происходит? Исходная задача агрегации была настроена для конкретного шаблона индексов (sensor-*), а не для конкретного индекса (sensor-1). Итак, хотя индекс принадлежит шаблону, задача агрегации действительна только для всего шаблона, а не только для одного из его содержащих индексов. Поэтому API получения возможностей работы с агрегацией данных возвращает информацию только на основе первоначально настроенного имени индекса или шаблона.