Агрегирование последовательных разностей

Последовательное разностное вычисление — это техника, в которой значения в временном ряду вычитаются из самого себя с разными временными лагами или периодами. Например, точка данных f(x) = f(x_t) - f(x_t-n), где n — используемый период.

Период 1 эквивалентен производной без нормализации времени: это просто изменение от одной точки к другой. Одиночные периоды полезны для удаления постоянных, линейных трендов.

Одиночные периоды также полезны для преобразования данных в стационарный ряд. В этом примере индекс Доу-Джона показан примерно за 250 дней. Исходные данные не стационарны, что затруднит их использование с некоторыми техниками.

Вычислением первой разницы мы устраняем тренды (например, удаляем постоянный, линейный тренд). Мы можем видеть, что данные становятся стационарным рядом (например, первая разница распределена случайным образом около нуля и, кажется, не демонстрирует никаких закономерностей/поведения). Преобразование показывает, что набор данных следует случайному блужданию; значение равно предыдущему значению ± случайное количество. Этот вывод позволяет выбрать дополнительные инструменты для анализа.

Рисунок 17. Индекс Доу-Джона, представленный и приведенный к стационарному состоянию с помощью первой разницы

Можно использовать более длительные периоды для удаления сезонного/циклического поведения. В этом примере численно генерировалась популяция леммингов с синусоидой + постоянным линейным трендом + случайным шумом. Синусоида имеет период 30 дней.

Первая разница удаляет постоянный тренд, оставляя только синусоиду. Затем применяется 30-я разница к первой разнице, чтобы устранить циклическое поведение, оставляя стационарный ряд, который пригоден для других анализов.

Рисунок 18. Данные леммингов, представленные и приведенные к стационарному состоянию с помощью первой и 30-й разницы

{
  "serial_diff": {
    "buckets_path": "the_sum",
    "lag": 7
  }
}

POST /_search
{
   "size": 0,
   "aggs": {
      "my_date_histo": {                  
         "date_histogram": {
            "field": "timestamp",
            "calendar_interval": "day"
         },
         "aggs": {
            "the_sum": {
               "sum": {
                  "field": "lemmings"     
               }
            },
            "thirtieth_difference": {
               "serial_diff": {                
                  "buckets_path": "the_sum",
                  "lag" : 30
               }
            }
         }
      }
   }
}