Агрегирование по последовательным различиям

Последовательное различие — это техника, где значения в временном ряду вычитаются из себя с разными временными лагами или периодами. Например, значение f(x) = f(x_t) - f(x_t-n), где n — используемый период.

Период 1 эквивалентен производной без нормализации по времени: это просто изменение от одной точки к следующей. Одиночные периоды полезны для удаления постоянных и линейных трендов.

Одиночные периоды также полезны для преобразования данных в стационарный ряд. На этом примере показан график Dow Jones за ~250 дней. Исходные данные не являются стационарными, что затрудняет их использование с некоторыми техниками.

Вычисление первого различия позволяет детерминировать данные (например, удалить постоянный, линейный тренд). Мы можем увидеть, что данные становятся стационарным рядом (например, первое различие случайно распределено около нуля и не демонстрирует никаких закономерностей/поведения). Преобразование показывает, что набор данных следует случайному блужданию; значение — это предыдущее значение ± случайное количество. Это понимание позволяет выбрать дальнейшие инструменты для анализа.

Рисунок 9. График Dow Jones и его стационаризация с помощью первого различия

Можно использовать более длинные периоды для удаления сезонных/циклических колебаний. На этом примере синтетически сгенерирована популяция леммингов с синусоидальной волной + постоянным линейным трендом + случайным шумом. Синусоидальная волна имеет период 30 дней.

Первое различие удаляет постоянный тренд, оставляя только синусоидальную волну. Затем применяется 30-е различие к первому различию для удаления циклического поведения, оставляя стационарный ряд, который пригоден для дальнейшего анализа.

Рисунок 10. График данных леммингов, стационаризированных с помощью 1-го и 30-го различия

{
  "serial_diff": {
    "buckets_path": "the_sum",
    "lag": 7
  }
}

resp = client.search(
    size=0,
    aggs={
        "my_date_histo": {
            "date_histogram": {
                "field": "timestamp",
                "calendar_interval": "day"
            },
            "aggs": {
                "the_sum": {
                    "sum": {
                        "field": "lemmings"
                    }
                },
                "thirtieth_difference": {
                    "serial_diff": {
                        "buckets_path": "the_sum",
                        "lag": 30
                    }
                }
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    size: 0,
    aggregations: {
      my_date_histo: {
        date_histogram: {
          field: 'timestamp',
          calendar_interval: 'day'
        },
        aggregations: {
          the_sum: {
            sum: {
              field: 'lemmings'
            }
          },
          thirtieth_difference: {
            serial_diff: {
              buckets_path: 'the_sum',
              lag: 30
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.search({
  size: 0,
  aggs: {
    my_date_histo: {
      date_histogram: {
        field: "timestamp",
        calendar_interval: "day",
      },
      aggs: {
        the_sum: {
          sum: {
            field: "lemmings",
          },
        },
        thirtieth_difference: {
          serial_diff: {
            buckets_path: "the_sum",
            lag: 30,
          },
        },
      },
    },
  },
});
console.log(response);

POST /_search
{
   "size": 0,
   "aggs": {
      "my_date_histo": {                  
         "date_histogram": {
            "field": "timestamp",
            "calendar_interval": "day"
         },
         "aggs": {
            "the_sum": {
               "sum": {
                  "field": "lemmings"     
               }
            },
            "thirtieth_difference": {
               "serial_diff": {                
                  "buckets_path": "the_sum",
                  "lag" : 30
               }
            }
         }
      }
   }
}