Агрегации с использованием конвейера

Агрегации с использованием конвейера работают с результатами, полученными от других агрегаций, а не с наборами документов, добавляя информацию в дерево результатов. Существует множество типов агрегаций с использованием конвейера, каждый из которых вычисляет различную информацию из других агрегаций, но эти типы можно разделить на две группы:

Агрегации с использованием конвейера могут ссылаться на агрегации, необходимые для выполнения вычислений, используя параметр buckets_path для указания путей к требуемым метрикам. Синтаксис определения этих путей можно найти в разделе buckets_path Синтаксис ниже.

Агрегации с использованием конвейера не могут иметь вложенные агрегации, но в зависимости от типа могут ссылаться на другую агрегацию в buckets_path, позволяя цеплять агрегации с использованием конвейера. Например, вы можете цеплять две производные, чтобы вычислить вторую производную (т.е. производную от производной).

Большинство агрегаций с использованием конвейера требуют другой агрегации в качестве входных данных. Входная агрегация определяется параметром buckets_path, который следует определённому формату:

AGG_SEPARATOR       =  `>` ;
METRIC_SEPARATOR    =  `.` ;
AGG_NAME            =  <the name of the aggregation> ;
METRIC              =  <the name of the metric (in case of multi-value metrics aggregation)> ;
MULTIBUCKET_KEY     =  `[<KEY_NAME>]`
PATH                =  <AGG_NAME><MULTIBUCKET_KEY>? (<AGG_SEPARATOR>, <AGG_NAME> )* ( <METRIC_SEPARATOR>, <METRIC> ) ;

Например, путь "my_bucket>my_stats.avg" укажет на значение avg в метрике "my_stats", которая содержится в агрегации корзины "my_bucket".

Пути относительны к положению агрегации с использованием конвейера; они не являются абсолютными путями, и путь не может двигаться «вверх» по дереву агрегаций. Например, эта скользящая средняя встроена в date_histogram и ссылается на «братскую» метрику "the_sum":

POST /_search
{
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "day"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "lemmings" } 
        },
        "the_movavg": {
          "moving_avg": { "buckets_path": "the_sum" } 
        }
      }
    }
  }
}

buckets_path также используется для агрегаций с использованием конвейера типа «братья», где агрегация находится «рядом» с рядом корзин, а не «внутри» них. Например, агрегация max_bucket использует buckets_path для указания метрики, вложенной внутри братской агрегации:

POST /_search
{
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "max_monthly_sales": {
      "max_bucket": {
        "buckets_path": "sales_per_month>sales" 
      }
    }
  }
}

Если агрегация с использованием конвейера типа «братья» ссылается на многокорзинную агрегацию, такую как агрегацию terms, у неё также есть возможность выбирать определённые ключи из многокорзинной агрегации. Например, агрегация bucket_script могла бы выбрать две определённые корзины (через их ключи корзин) для выполнения вычислений:

POST /_search
{
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sale_type": {
          "terms": {
            "field": "type"
          },
          "aggs": {
            "sales": {
              "sum": {
                "field": "price"
              }
            }
          }
        },
        "hat_vs_bag_ratio": {
          "bucket_script": {
            "buckets_path": {
              "hats": "sale_type['hat']>sales",   
              "bags": "sale_type['bag']>sales"    
            },
            "script": "params.hats / params.bags"
          }
        }
      }
    }
  }
}

Вместо указания пути к метрике, buckets_path может использовать специальный "_count" путь. Это указывает агрегации с использованием конвейера использовать количество документов в качестве входных данных. Например, скользящая средняя может быть вычислена по количеству документов в каждой корзине, а не по определённой метрике:

POST /_search
{
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "day"
      },
      "aggs": {
        "the_movavg": {
          "moving_avg": { "buckets_path": "_count" } 
        }
      }
    }
  }
}

buckets_path также может использовать "_bucket_count" и путь к многокорзинной агрегации, чтобы использовать количество корзин, возвращаемых этой агрегацией, в агрегации с использованием конвейера вместо метрики. Например, можно использовать bucket_selector, чтобы отфильтровать корзины, которые не содержат корзин для вложенной агрегации terms:

POST /sales/_search
{
  "size": 0,
  "aggs": {
    "histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "day"
      },
      "aggs": {
        "categories": {
          "terms": {
            "field": "category"
          }
        },
        "min_bucket_selector": {
          "bucket_selector": {
            "buckets_path": {
              "count": "categories._bucket_count" 
            },
            "script": {
              "source": "params.count != 0"
            }
          }
        }
      }
    }
  }
}

Поддерживается альтернативный синтаксис для обработки агрегаций или метрик с точками в имени, таких как 99.9-я перцентиль. Эта метрика может быть указана как:

"buckets_path": "my_percentile[99.9]"

Данные в реальном мире часто шумят и иногда содержат пробелы — места, где данных просто нет. Это может происходить по разным причинам, наиболее распространёнными из которых являются:

Политики пробелов — это механизм для информирования агрегации с использованием конвейера о желаемом поведении при обнаружении «пробельных» или отсутствующих данных. Все агрегации с использованием конвейера принимают параметр gap_policy. В настоящее время доступно две политики пробелов:

Недействительная агрегация с использованием конвейера возвращает код состояния HTTP 400 и список связанных ошибок валидации. До версии 7.7 недействительная агрегация с использованием конвейера возвращала код состояния HTTP 500 и первую встреченную ошибку валидации.