Сжатие временного ряда данных

Сжатие обеспечивает способ уменьшения объёма данных вашего временного ряда данных, храня их с уменьшенной точностью.

Системы мониторинга собирают большие объёмы данных временных рядов, которые растут со временем. По мере старения этих данных их актуальность для текущего состояния системы снижается. Процесс сжатия сворачивает документы в пределах фиксированного временного интервала в один сводный документ. Каждый сводный документ включает статистические представления исходных данных: min, max, sum и value_count для каждой метрики. Данные потока измерений временного ряда хранятся неизменными.

Сжатие, по сути, позволяет вам пожертвовать разрешением и точностью данных ради уменьшения размера хранилища. Вы можете включить его в политику управления жизненным циклом индекса (ILM) для автоматического управления объёмом и связанными с ним затратами на данные метрик по мере их старения.

Дополнительную информацию можно найти в следующих разделах:

Временной ряд — это последовательность наблюдений, взятых за определённый промежуток времени для определённого объекта. Наблюдаемые образцы можно представить как непрерывную функцию, где измерения временного ряда остаются постоянными, а значения метрик временного ряда меняются со временем.

В индексе Elasticsearch для каждой метки времени создаётся отдельный документ, содержащий неизменные измерения временного ряда вместе с именами метрик и изменяющимися значениями метрик. Для одного момента времени могут храниться несколько измерений временного ряда и метрик.

Для наиболее актуальных данных метрики обычно имеют низкий интервал дискретизации, поэтому они оптимизированы для запросов, требующих высокой точности данных.

Рисунок 2. Исходный ряд метрик

Сжатие применяется к более старым и реже используемым данным путём замены исходного временного ряда потоком данных с более высоким интервалом дискретизации и статистическими представлениями этих данных. Если исходные образцы метрик могут быть взяты, например, каждые десять секунд, по мере старения данных вы можете выбрать уменьшение точности выборки до часа или дня. Вы можете уменьшить точность cold архивных данных до месяца или реже.

Рисунок 3. Сжатый ряд метрик

Операция сжатия обходит исходный индекс TSDS и выполняет следующие шаги:

Поля в целевом, сжатом индексе создаются на основе полей в исходном индексе следующим образом:

Для сжатия индекса временного ряда используйте API сжатия индекса и установите fixed_interval на желаемый уровень точности:

resp = client.indices.downsample(
    index="my-time-series-index",
    target_index="my-downsampled-time-series-index",
    config={
        "fixed_interval": "1d"
    },
)
print(resp)

response = client.indices.downsample(
  index: 'my-time-series-index',
  target_index: 'my-downsampled-time-series-index',
  body: {
    fixed_interval: '1d'
  }
)
puts response

const response = await client.indices.downsample({
  index: "my-time-series-index",
  target_index: "my-downsampled-time-series-index",
  config: {
    fixed_interval: "1d",
  },
});
console.log(response);

POST /my-time-series-index/_downsample/my-downsampled-time-series-index
{
    "fixed_interval": "1d"
}

Для сжатия данных временных рядов в рамках ILM включите действие сжатия в вашей политике ILM и установите fixed_interval на желаемый уровень точности:

resp = client.ilm.put_lifecycle(
    name="my_policy",
    policy={
        "phases": {
            "warm": {
                "actions": {
                    "downsample": {
                        "fixed_interval": "1h"
                    }
                }
            }
        }
    },
)
print(resp)

response = client.ilm.put_lifecycle(
  policy: 'my_policy',
  body: {
    policy: {
      phases: {
        warm: {
          actions: {
            downsample: {
              fixed_interval: '1h'
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.ilm.putLifecycle({
  name: "my_policy",
  policy: {
    phases: {
      warm: {
        actions: {
          downsample: {
            fixed_interval: "1h",
          },
        },
      },
    },
  },
});
console.log(response);

PUT _ilm/policy/my_policy
{
  "policy": {
    "phases": {
      "warm": {
        "actions": {
          "downsample" : {
            "fixed_interval": "1h"
          }
        }
      }
    }
  }
}

Вы можете использовать конечные точки _search и _async_search для запроса к сжатому индексу. В одном запросе могут быть запрошены несколько индексов с сырыми данными и сжатыми данными, а в один запрос можно включить сжатые индексы с различной точностью (разный интервал времени корзины). То есть, вы можете запрашивать потоки данных, содержащие сжатые индексы с несколькими интервалами сжатия (например, 15m, 1h, 1d).

Результат агрегации гистограммы по времени находится в корзинах одинакового размера, и каждый сжатый индекс возвращает данные, игнорируя интервал сжатия. Например, если вы выполните агрегацию date_histogram с "fixed_interval": "1m" на сжатом индексе, сжатом с часовой точностью ("fixed_interval": "1h"), запрос возвращает одну корзину со всеми данными в 0 минуту, затем 59 пустых корзин, а затем корзину с данными для следующего часа.

Необходимо учесть несколько моментов при запросах к сжатым индексам:

Для сжатия применяются следующие ограничения:

Для проведения тестирования сглаживания попробуйте наш пример ручного запуска сглаживания.

Сглаживание можно легко добавить в вашу политику ILM. Для получения информации попробуйте наш пример запуска сглаживания с ILM.