Агрегация с функцией скользящего окна

Агрегация moving_fn выглядит следующим образом:

{
  "moving_fn": {
    "buckets_path": "the_sum",
    "window": 10,
    "script": "MovingFunctions.min(values)"
  }
}

Агрегации moving_fn должны быть встроены в histogram или date_histogram агрегацию. Они могут быть встроены как любая другая метрическая агрегация:

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {                  
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }   
        },
        "the_movfn": {
          "moving_fn": {
            "buckets_path": "the_sum",  
            "window": 10,
            "script": "MovingFunctions.unweightedAvg(values)"
          }
        }
      }
    }
  }
}

Скользящие средние строятся, сначала задавая histogram или date_histogram по полю. Затем можно необязательно добавить числовые метрики, такие как sum, внутри этой гистограммы. Наконец, moving_fn встраивается внутри гистограммы. Параметр buckets_path используется для указания на одну из метрик-собратьев внутри гистограммы (см. buckets_path Синтаксис для описания синтаксиса buckets_path).

Пример ответа от вышеуказанной агрегации:

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "my_date_histo": {
         "buckets": [
             {
                 "key_as_string": "2015/01/01 00:00:00",
                 "key": 1420070400000,
                 "doc_count": 3,
                 "the_sum": {
                    "value": 550.0
                 },
                 "the_movfn": {
                    "value": null
                 }
             },
             {
                 "key_as_string": "2015/02/01 00:00:00",
                 "key": 1422748800000,
                 "doc_count": 2,
                 "the_sum": {
                    "value": 60.0
                 },
                 "the_movfn": {
                    "value": 550.0
                 }
             },
             {
                 "key_as_string": "2015/03/01 00:00:00",
                 "key": 1425168000000,
                 "doc_count": 2,
                 "the_sum": {
                    "value": 375.0
                 },
                 "the_movfn": {
                    "value": 305.0
                 }
             }
         ]
      }
   }
}

Агрегация Moving Function позволяет пользователю указать любой произвольный скрипт для определения пользовательской логики. Скрипт вызывается каждый раз, когда собирается новое окно данных. Эти значения предоставляются скрипту в переменной values. Затем скрипт должен выполнить какой-либо расчет и выдать единственное значение double в качестве результата. Вывод null не допускается, хотя NaN и +/- Inf разрешены.

Например, этот скрипт просто возвращает первое значение из окна или NaN, если значения недоступны:

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "return values.length > 0 ? values[0] : Double.NaN"
          }
        }
      }
    }
  }
}

По умолчанию (с shift = 0), окно, предлагаемое для расчета, содержит последние n значения, исключая текущий бакет. Увеличение shift на 1 смещает начальную позицию окна на 1 вправо.

Если какое-либо из краев окна выходит за пределы серии данных, окно сужается, включая только доступные значения.

Для удобства, ряд функций предопределен и доступен в контексте скрипта moving_fn:

Функции доступны из пространства имен MovingFunctions. Например: MovingFunctions.max()

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_moving_max": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.max(values)"
          }
        }
      }
    }
  }
}

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_moving_min": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.min(values)"
          }
        }
      }
    }
  }
}

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_moving_sum": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.sum(values)"
          }
        }
      }
    }
  }
}

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_moving_sum": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.stdDev(values, MovingFunctions.unweightedAvg(values))"
          }
        }
      }
    }
  }
}

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.unweightedAvg(values)"
          }
        }
      }
    }
  }
}

Функция linearWeightedAvg назначает линейную взвешенность точкам в ряду, так что "более старые" точки данных (например, те, что в начале окна) вносят линейно меньший вклад в общее среднее. Линейная взвешенность помогает уменьшить "отставание" от среднего значения данных, так как более старые точки имеют меньшее влияние.

Если окно пустое или все значения являются null/NaN, то результатом будет NaN.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.linearWeightedAvg(values)"
          }
        }
      }
    }
  }
}

Функция ewma (также известная как "экспоненциальная") похожа на функцию linearMovAvg, за исключением того, что более старые точки данных становятся экспоненциально менее важными, а не линейно менее важными. Скорость, с которой важность убывает, может быть контролируема с помощью параметра alpha. Малые значения делают вес убывает медленно, что обеспечивает большую сглаженность и учитывает большую часть окна. Большие значения делают вес убывает быстро, что уменьшает влияние более старых значений на скользящее среднее. Это, как правило, заставляет скользящее среднее более точно следовать за данными, но с меньшей сглаживанием.

null и NaN значения игнорируются; среднее вычисляется только для действительных значений. Если окно пустое или все значения являются null/NaN, то результатом будет NaN. Это означает, что количество используемых в вычислении среднего значений - это количество не-null, не-NaN значений.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.ewma(values, 0.3)"
          }
        }
      }
    }
  }
}

Функция holt (также известная как «двойная экспоненциальная») включает второй экспоненциальный член, который отслеживает тренд данных. Простая экспоненциальная функция плохо работает, когда данные имеют скрытый линейный тренд. Двойная экспоненциальная модель рассчитывает два значения внутри: «уровень» и «тенденцию».

Вычисление уровня аналогично вычислению ewma и представляет собой экспоненциально взвешенное представление данных. Разница в том, что вместо исходного значения используется ранее сглаженное значение, что позволяет ему оставаться близким к исходному ряду. Вычисление тренда рассматривает разницу между текущим и последним значениями (например, наклон или тренд сглаженных данных). Значение тренда также экспоненциально взвешено.

Значения получаются путем умножения компонентов уровня и тренда.

Значения null и NaN игнорируются; среднее значение вычисляется только для действительных значений. Если окно пустое или все значения являются null/NaN, возвращается значение NaN. Это означает, что количество, используемое в вычислении среднего значения, равно количеству ненулевых, не-null, не-NaN значений.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "MovingFunctions.holt(values, 0.3, 0.1)"
          }
        }
      }
    }
  }
}

На практике значение alpha ведет себя очень похоже в holtMovAvg, как и ewmaMovAvg: маленькие значения обеспечивают большее сглаживание и задержку, а большие значения обеспечивают более точное отслеживание и меньшую задержку. Значение beta часто трудно определить. Маленькие значения подчеркивают долгосрочные тенденции (например, постоянный линейный тренд во всем ряду), а большие значения подчеркивают краткосрочные тенденции.

Функция holtWinters (также известная как «тройная экспоненциальная») включает третий экспоненциальный член, который отслеживает сезонный аспект ваших данных. Таким образом, этот агрегированный подход обеспечивает сглаживание на основе трех компонентов: «уровень», «тенденция» и «сезонность».

Вычисление уровня и тренда идентично holt. Вычисление сезонности рассматривает разницу между текущей точкой и точкой, расположенной на один период ранее.

Для Holt-Winters требуется немного больше ручного управления, чем для других скользящих средних. Вам необходимо указать «периодичность» ваших данных: например, если ваши данные имеют циклические тренды каждые 7 дней, вы должны установить period = 7. Аналогично, если наблюдается месячный тренд, вы должны установить его на 30. В настоящее время нет обнаружения периодичности, хотя это запланировано на будущее.

Значения null и NaN игнорируются; среднее значение вычисляется только для действительных значений. Если окно пустое или все значения являются null/NaN, возвращается значение NaN. Это означает, что количество, используемое в вычислении среднего значения, равно количеству ненулевых, не-null, не-NaN значений.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "if (values.length > 5*2) {MovingFunctions.holtWinters(values, 0.3, 0.1, 0.1, 5, false)}"
          }
        }
      }
    }
  }
}