Агрегация скользящего среднего

Агрегация moving_avg выглядит следующим образом:

{
  "moving_avg": {
    "buckets_path": "the_sum",
    "model": "holt",
    "window": 5,
    "gap_policy": "insert_zeros",
    "settings": {
      "alpha": 0.8
    }
  }
}

moving_avg агрегации должны быть вложены в histogram или date_histogram агрегации. Они могут быть вложены как любые другие метрические агрегации:

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {                                
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }                 
        },
        "the_movavg": {
          "moving_avg": { "buckets_path": "the_sum" } 
        }
      }
    }
  }
}

Скользящие средние создаются путём предварительного указания histogram или date_histogram по полю. Затем можно необязательно добавить обычные метрики, такие как sum, внутри этой гистограммы. Наконец, moving_avg встраивается внутри гистограммы. Параметр buckets_path используется для указания одной из сопряжённых метрик внутри гистограммы (см. buckets_path Синтаксис для описания синтаксиса buckets_path).

Пример ответа от вышеуказанной агрегации:

{
  "took": 11,
  "timed_out": false,
  "_shards": ...,
  "hits": ...,
  "aggregations": {
    "my_date_histo": {
      "buckets": [
        {
          "key_as_string": "2015/01/01 00:00:00",
          "key": 1420070400000,
          "doc_count": 3,
          "the_sum": {
            "value": 550.0
          }
        },
        {
          "key_as_string": "2015/02/01 00:00:00",
          "key": 1422748800000,
          "doc_count": 2,
          "the_sum": {
            "value": 60.0
          },
          "the_movavg": {
            "value": 550.0
          }
        },
        {
          "key_as_string": "2015/03/01 00:00:00",
          "key": 1425168000000,
          "doc_count": 2,
          "the_sum": {
            "value": 375.0
          },
          "the_movavg": {
            "value": 305.0
          }
        }
      ]
    }
  }
}

Агрегация moving_avg включает четыре различные модели скользящей средней. Основное различие заключается в том, как значения в окне взвешиваются. По мере того, как данные становятся "старее" в окне, они могут быть взвешены по-разному. Это повлияет на окончательное среднее значение для данного окна.

Модели задаются с помощью параметра model. Некоторые модели могут иметь необязательные конфигурации, которые задаются внутри параметра settings.

Простая

Модель simple вычисляет сумму всех значений в окне, а затем делит на размер окна. Она фактически представляет собой простое среднее арифметическое окна. Простая модель не выполняет никакого временного взвешивания, что означает, что значения из simple скользящей средней имеют тенденцию "отставать" от реальных данных.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "simple"
          }
        }
      }
    }
  }
}

В модели simple нет специальных настроек.

Размер окна может изменять поведение скользящей средней. Например, небольшое окно ("window": 10) будет тесно следовать за данными и сглаживать только колебания мелкого масштаба:

Рисунок 3. Скользящая средняя с размером окна 10

В отличие от этого, simple скользящая средняя с большим размером окна ("window": 100) будет сглаживать все колебания высокой частоты, оставляя только тенденции низкой частоты и долгосрочные тренды. Она также имеет тенденцию "отставать" от реальных данных на значительную величину:

Рисунок 4. Скользящая средняя с размером окна 100

Модель linear присваивает линейные веса точкам в последовательности таким образом, что "более старые" точки данных (например, те, которые находятся в начале окна) вносят линейно меньший вклад в общее среднее. Линейное взвешивание помогает уменьшить "отставание" от среднего значения данных, так как более старые точки имеют меньшее влияние.

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "linear"
          }
        }
      }
    }
  }
}

В модели linear нет специальных настроек.

Как и в модели simple, размер окна может изменять поведение скользящей средней. Например, небольшое окно ("window": 10) будет тесно следовать за данными и сглаживать только колебания мелкого масштаба:

Рисунок 5. Линейная скользящая средняя с размером окна 10

В отличие от этого, linear скользящая средняя с большим размером окна ("window": 100) будет сглаживать все колебания высокой частоты, оставляя только тенденции низкой частоты и долгосрочные тренды. Она также имеет тенденцию "отставать" от реальных данных на значительную величину, хотя обычно меньше, чем модель simple:

Рисунок 6. Линейная скользящая средняя с размером окна 100

Модель ewma (также известная как "одноэкспоненциальная") похожа на модель linear, за исключением того, что более старые точки данных становятся экспоненциально менее важными, а не линейно менее важными. Скорость убывания важности можно контролировать с помощью настройки alpha. Малые значения приводят к медленному убыванию веса, что обеспечивает большее сглаживание и учитывает большую часть окна. Более большие значения ускоряют убывание веса, что уменьшает влияние более старых значений на скользящую среднюю. Это приводит к тому, что скользящая средняя будет более точно следовать за данными, но с меньшим сглаживанием.

Значение по умолчанию для alpha равно 0.3, и значение может быть любым числом с плавающей точкой от 0 до 1 включительно.

Модель EWMA может быть минимизирована

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "ewma",
            "settings": {
              "alpha": 0.5
            }
          }
        }
      }
    }
  }
}

Рисунок 7. EWMA с размером окна 10, alpha = 0.2

Рисунок 8. EWMA с размером окна 10, alpha = 0.7

Модель holt (также известная как "двойное экспоненциальное") включает второй экспоненциальный член, который отслеживает тенденцию данных. Простая экспонента не работает хорошо, когда данные имеют основополагающую линейную тенденцию. Модель двойного экспоненциального вычисляет два значения внутри: "уровень" и "тенденцию".

Вычисление уровня аналогично ewma и представляет собой экспоненциально взвешенное представление данных. Разница заключается в том, что вместо исходного значения используется предварительно сглаженное значение, что позволяет ему оставаться близким к исходному ряду. Вычисление тенденции рассматривает разницу между текущим и последним значением (например, наклон или тенденция сглаженных данных). Значение тенденции также экспоненциально взвешено.

Значения получаются путем умножения компонентов уровня и тенденции.

Значение по умолчанию для alpha равно 0.3, а beta равно 0.1. Параметры принимают любое число с плавающей точкой от 0 до 1 включительно.

Модель Holt-Линейный может быть минимизирована

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "holt",
            "settings": {
              "alpha": 0.5,
              "beta": 0.5
            }
          }
        }
      }
    }
  }
}

На практике значение alpha ведет себя очень похоже в holt, как и ewma: маленькие значения обеспечивают большее сглаживание и больший лаг, в то время как большие значения обеспечивают более точное отслеживание и меньший лаг. Значение beta часто трудно увидеть. Малые значения подчеркивают долгосрочные тенденции (например, постоянную линейную тенденцию во всем ряду), а большие значения подчеркивают краткосрочные тенденции. Это станет более очевидно при прогнозировании значений.

Рисунок 9. Скользящее среднее Holt-Линейное с размером окна 100, alpha = 0,5, beta = 0,2

Рисунок 10. Скользящее среднее Holt-Линейное с размером окна 100, alpha = 0,5, beta = 0,7

Модель holt_winters (также известная как "тройное экспоненциальное") включает третий экспоненциальный член, который отслеживает сезонный аспект ваших данных. Таким образом, эта агрегация сглаживает на основе трех компонентов: "уровень", "тенденция" и "сезонность".

Вычисление уровня и тенденции идентично holt. Вычисление сезонности рассматривает разницу между текущей точкой и точкой за один период ранее.

Holt-Винтерс требует немного большего участия, чем другие скользящие средние. Вам необходимо указать "периодичность" ваших данных: например, если ваши данные имеют циклические тенденции каждые 7 дней, вы установите period: 7. Аналогично, если была месячная тенденция, вы установите ее на 30. В настоящее время нет обнаружения периодичности, хотя это планируется в будущих улучшениях.

Существуют два типа Holt-Винтерс: аддитивный и мультипликативный.

"Холодный старт"

К сожалению, из-за природы Holt-Винтерс, ему требуется два периода данных для "запуска" алгоритма. Это означает, что ваш window всегда должен быть по крайней мере вдвое больше, чем ваш период. Если это не так, будет брошено исключение. Это также означает, что Holt-Винтерс не будет выдавать значение для первых 2 * period ведер; текущий алгоритм не выполняет обратное прогнозирование.

Рисунок 11. Holt-Винтерс, демонстрирующий "холодный" запуск, где не выдаются значения

Поскольку "холодный старт" затеняет, как выглядит скользящее среднее, остальные изображения Holt-Винтерс усечены, чтобы не показывать "холодный старт". Просто имейте в виду, что это всегда будет присутствовать в начале ваших скользящих средних!

Аддитивный Holt-Винтерс

Аддитивная сезонность является значением по умолчанию; ее также можно указать, установив "type": "add". Этот тип предпочтительнее, когда сезонное влияние добавляется к вашим данным. Например, вы можете просто вычесть сезонное влияние, чтобы "десезонировать" ваши данные до плоской тенденции.

Значения по умолчанию для alpha и gamma равны 0.3, а beta равно 0.1. Параметры принимают любое число с плавающей точкой от 0 до 1 включительно. Значение по умолчанию для period равно 1.

Аддитивная модель Holt-Винтерс может быть минимизирована

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "holt_winters",
            "settings": {
              "type": "add",
              "alpha": 0.5,
              "beta": 0.5,
              "gamma": 0.5,
              "period": 7
            }
          }
        }
      }
    }
  }
}

Рисунок 12. Скользящее среднее Holt-Винтерс с размером окна 120, alpha = 0,5, beta = 0,7, gamma = 0,3, period = 30

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "holt_winters",
            "settings": {
              "type": "mult",
              "alpha": 0.5,
              "beta": 0.5,
              "gamma": 0.5,
              "period": 7,
              "pad": true
            }
          }
        }
      }
    }
  }
}

Все модели скользящего среднего поддерживают режим "прогнозирования", который попытается экстраполировать в будущее на основе текущего сглаженного скользящего среднего. В зависимости от модели и параметров, эти прогнозы могут быть или не быть точными.

Прогнозы включаются путем добавления параметра predict в любую агрегацию скользящего среднего, указывающего количество прогнозов, которые вы хотите добавить в конец ряда. Эти прогнозы будут размещены с тем же интервалом, что и ваши ведра:

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "window": 30,
            "model": "simple",
            "predict": 10
          }
        }
      }
    }
  }
}

Модели simple, linear и ewma все производят "плоские" прогнозы: они по существу сходятся к среднему значению последнего значения в ряду, производя плоскую:

Рисунок 13. Простое скользящее среднее с размером окна 10, predict = 50

В отличие от этого, модель holt может экстраполировать на основе локальных или глобальных постоянных тенденций. Если мы установим высокое значение beta, мы можем экстраполировать на основе локальных постоянных тенденций (в этом случае прогнозы направлены вниз, потому что данные в конце ряда имели направление вниз):

Рисунок 14. Скользящее среднее Holt-Линейное с размером окна 100, predict = 20, alpha = 0,5, beta = 0,8

В отличие от этого, если мы выберем малое значение beta, прогнозы основаны на глобальной постоянной тенденции. В этом ряду глобальная тенденция немного положительная, поэтому прогноз резко поворачивает и начинает положительный наклон:

Рисунок 15. Скользящее среднее двойного экспоненциального с размером окна 100, predict = 20, alpha = 0,5, beta = 0,1

Модель holt_winters потенциально может обеспечить лучшие прогнозы, поскольку она также включает сезонные колебания в модель:

Рисунок 16. Скользящее среднее Holt-Винтерс с размером окна 120, predict = 25, alpha = 0,8, beta = 0,2, gamma = 0,7, период = 30

Некоторые модели (EWMA, Holt-Линейная, Holt-Уинтерс) требуют настройки одного или нескольких параметров. Выбор параметров может быть сложным и порой неинтуитивным. Кроме того, небольшие отклонения в этих параметрах иногда могут оказывать существенное влияние на скользящую среднюю результата.

По этой причине три «настраиваемые» модели могут быть алгоритмически минимизированы. Минимизация — это процесс, в котором параметры подстраиваются до тех пор, пока прогнозы, генерируемые моделью, не совпадут с выходными данными. Минимизация не является безупречной и может быть подвержена переобучению, но часто дает лучшие результаты, чем ручная настройка.

Минимизация по умолчанию отключена для ewma и holt_linear, в то время как для holt_winters она включена по умолчанию. Минимизация наиболее полезна с моделью Holt-Уинтерс, поскольку она помогает повысить точность прогнозов. EWMA и Holt-Линейная не являются хорошими прогнозирующими моделями и в основном используются для сглаживания данных, поэтому минимизация менее полезна для этих моделей.

Минимизация включается/отключается с помощью параметра minimize:

POST /_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_avg": {
            "buckets_path": "the_sum",
            "model": "holt_winters",
            "window": 30,
            "minimize": true,  
            "settings": {
              "period": 7
            }
          }
        }
      }
    }
  }
}

При включении минимизации будут найдены оптимальные значения для alpha, beta и gamma. Пользователь по-прежнему должен предоставить соответствующие значения для window, period и type.