Поиск в агрегированных данных

Предположим, у нас есть индекс с именем sensor-1, содержащий исходные данные, и мы создали задание агрегации со следующим конфигурацией:

PUT _rollup/job/sensor
{
  "index_pattern": "sensor-*",
  "rollup_index": "sensor_rollup",
  "cron": "*/30 * * * * ?",
  "page_size": 1000,
  "groups": {
    "date_histogram": {
      "field": "timestamp",
      "fixed_interval": "1h",
      "delay": "7d"
    },
    "terms": {
      "fields": [ "node" ]
    }
  },
  "metrics": [
    {
      "field": "temperature",
      "metrics": [ "min", "max", "sum" ]
    },
    {
      "field": "voltage",
      "metrics": [ "avg" ]
    }
  ]
}

Это агрегирует данные по шаблону sensor-* и сохраняет результаты в sensor_rollup. Для поиска в этих данных нужно использовать конечную точку _rollup_search. Однако вы заметите, что для поиска в агрегированных данных можно использовать стандартный Query DSL:

GET /sensor_rollup/_rollup_search
{
  "size": 0,
  "aggregations": {
    "max_temperature": {
      "max": {
        "field": "temperature"
      }
    }
  }
}

Запрос направлен на данные sensor_rollup, поскольку они содержат агрегированные данные, как настроено в задании. Была использована агрегация max по полю temperature, что привело к следующему ответу:

{
  "took" : 102,
  "timed_out" : false,
  "terminated_early" : false,
  "_shards" : ... ,
  "hits" : {
    "total" : {
        "value": 0,
        "relation": "eq"
    },
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "max_temperature" : {
      "value" : 202.0
    }
  }
}

Ответ точно такой же, как и при обычном запросе + агрегации; он предоставляет метаданные о запросе (took, _shards и т. д.), результаты поиска (которые всегда пустые для поиска в агрегированных данных) и ответ агрегации.

Поиск в агрегированных данных ограничен функциональностью, настроенной в задании агрегации. Например, мы не можем рассчитать среднюю температуру, потому что avg не был одним из настроенных метрик для поля temperature. Если мы попробуем выполнить этот поиск:

GET sensor_rollup/_rollup_search
{
  "size": 0,
  "aggregations": {
    "avg_temperature": {
      "avg": {
        "field": "temperature"
      }
    }
  }
}

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "There is not a rollup job that has a [avg] agg with name [avg_temperature] which also satisfies all requirements of query.",
        "stack_trace": ...
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "There is not a rollup job that has a [avg] agg with name [avg_temperature] which also satisfies all requirements of query.",
    "stack_trace": ...
  },
  "status": 400
}

API поиска в агрегированных данных позволяет искать как в «живых» исходных данных, так и в агрегированных данных. Это делается путем добавления исходных индексов в URI:

GET sensor-1,sensor_rollup/_rollup_search 
{
  "size": 0,
  "aggregations": {
    "max_temperature": {
      "max": {
        "field": "temperature"
      }
    }
  }
}

При выполнении поиска конечная точка поиска в агрегированных данных делает два действия:

После получения двух ответов конечная точка переписывает ответ из агрегированных данных и объединяет их. Во время объединения, если существуют пересечения в группах между двумя ответами, используются группы из исходного индекса.

Ответ на вышеуказанный запрос выглядит так, как ожидалось, несмотря на охват агрегированных и исходных индексов:

{
  "took" : 102,
  "timed_out" : false,
  "terminated_early" : false,
  "_shards" : ... ,
  "hits" : {
    "total" : {
        "value": 0,
        "relation": "eq"
    },
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "max_temperature" : {
      "value" : 202.0
    }
  }
}