Агрегирование перцентилей

По умолчанию флаг keyed установлен в значение true, что связывает уникальный строковый ключ с каждым бакетом и возвращает диапазоны в виде хеша, а не массива. Установка флага keyed в значение false отключит это поведение:

GET latency/_search
{
  "size": 0,
  "aggs": {
    "load_time_outlier": {
      "percentiles": {
        "field": "load_time",
        "keyed": false
      }
    }
  }
}

Ответ:

{
  ...

  "aggregations": {
    "load_time_outlier": {
      "values": [
        {
          "key": 1.0,
          "value": 5.0
        },
        {
          "key": 5.0,
          "value": 25.0
        },
        {
          "key": 25.0,
          "value": 165.0
        },
        {
          "key": 50.0,
          "value": 445.0
        },
        {
          "key": 75.0,
          "value": 725.0
        },
        {
          "key": 95.0,
          "value": 945.0
        },
        {
          "key": 99.0,
          "value": 985.0
        }
      ]
    }
  }
}

Если вам нужно выполнить агрегирование по значениям, которые не индексированы, используйте динамическое поле. Например, если наше время загрузки измеряется в миллисекундах, но вы хотите, чтобы перцентили вычислялись в секундах:

GET latency/_search
{
  "size": 0,
  "runtime_mappings": {
    "load_time.seconds": {
      "type": "long",
      "script": {
        "source": "emit(doc['load_time'].value / params.timeUnit)",
        "params": {
          "timeUnit": 1000
        }
      }
    }
  },
  "aggs": {
    "load_time_outlier": {
      "percentiles": {
        "field": "load_time.seconds"
      }
    }
  }
}

Существует множество различных алгоритмов вычисления перцентилей. Примитивный алгоритм просто хранит все значения в отсортированном массиве. Чтобы найти 50-й перцентиль, вы просто находите значение, которое находится на позиции my_array[count(my_array) * 0.5].

Очевидно, что примитивный алгоритм не масштабируется — отсортированный массив растёт линейно с числом значений в наборе данных. Для вычисления перцентилей по потенциально миллиардам значений в кластере Elasticsearch вычисляются приблизительные перцентили.

Алгоритм, используемый метрикой percentile, называется TDigest (представленный Тедом Даннингом в Computing Accurate Quantiles using T-Digests).

При использовании этой метрики необходимо учитывать несколько рекомендаций:

На следующем графике показана относительная ошибка при равномерном распределении в зависимости от количества собранных значений и запрашиваемой перцентили:

Он показывает, как точность лучше для крайних перцентилей. Причина, по которой ошибка уменьшается для большого числа значений, заключается в том, что закон больших чисел делает распределение значений всё более однородным, и дерево t-digest может лучше его обобщить. Это не будет иметь места при более смещённых распределениях.

Приблизительные алгоритмы должны балансировать использование памяти и точность оценки. Этот баланс можно контролировать с помощью параметра compression:

GET latency/_search
{
  "size": 0,
  "aggs": {
    "load_time_outlier": {
      "percentiles": {
        "field": "load_time",
        "tdigest": {
          "compression": 200    
        }
      }
    }
  }
}

Алгоритм TDigest использует несколько «узлов» для приближения перцентилей — чем больше узлов доступно, тем выше точность (и больший объём памяти), пропорционально объёму данных. Параметр compression ограничивает максимальное число узлов до 20 * compression.

Следовательно, увеличивая значение сжатия, вы можете повысить точность перцентилей за счёт увеличения использования памяти. Более высокие значения сжатия также замедляет алгоритм, так как размер базовой структуры данных дерева увеличивается, что приводит к более дорогим операциям. Значение сжатия по умолчанию равно 100.

Один «узел» использует примерно 32 байта памяти, поэтому в худшем случае (большой объём данных, поступающий отсортированным и упорядоченно) значения по умолчанию создадут TDigest размером примерно 64 КБ. На практике данные обычно более случайны, и TDigest использует меньше памяти.

HDR Гистограмма (гистограмма с высоким динамическим диапазоном) — это альтернативная реализация, которая может быть полезна при вычислении перцентилей для измерений задержки, так как она может быть быстрее, чем реализация t-digest, с trade-off увеличения потребления памяти. Эта реализация поддерживает фиксированную процентную погрешность худшего случая (указанную как количество значащих цифр). Это означает, что если данные регистрируются со значениями от 1 микросекунды до 1 часа (3 600 000 000 микросекунд) в гистограмме, настроенной на 3 значащих цифры, она будет поддерживать разрешение 1 микросекунда для значений до 1 миллисекунды и 3,6 секунды (или лучше) для максимального отслеживаемого значения (1 час).

HDR Гистограмма может быть использована, указав параметр method в запросе:

GET latency/_search
{
  "size": 0,
  "aggs": {
    "load_time_outlier": {
      "percentiles": {
        "field": "load_time",
        "percents": [ 95, 99, 99.9 ],
        "hdr": {                                  
          "number_of_significant_value_digits": 3 
        }
      }
    }
  }
}

HDR Гистограмма поддерживает только положительные значения и вернёт ошибку, если ей передать отрицательное значение. Также не рекомендуется использовать HDR Гистограмму, если диапазон значений неизвестен, так как это может привести к высокому потреблению памяти.

Параметр missing определяет, как должны обрабатываться документы, в которых отсутствует значение. По умолчанию они игнорируются, но также их можно обрабатывать так, как будто у них есть значение.

GET latency/_search
{
  "size": 0,
  "aggs": {
    "grade_percentiles": {
      "percentiles": {
        "field": "grade",
        "missing": 10       
      }
    }
  }
}