Агрегация extended stats

По умолчанию метрика extended_stats вернёт объект под названием std_deviation_bounds, который предоставляет интервал, плюс-минус два стандартных отклонения от среднего значения. Это может быть полезным способом визуализации дисперсии данных. Если вам требуется другая граница, например, три стандартных отклонения, вы можете установить sigma в запросе:

resp = client.search(
    index="exams",
    size=0,
    aggs={
        "grades_stats": {
            "extended_stats": {
                "field": "grade",
                "sigma": 3
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'exams',
  body: {
    size: 0,
    aggregations: {
      grades_stats: {
        extended_stats: {
          field: 'grade',
          sigma: 3
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "exams",
  size: 0,
  aggs: {
    grades_stats: {
      extended_stats: {
        field: "grade",
        sigma: 3,
      },
    },
  },
});
console.log(response);

GET /exams/_search
{
  "size": 0,
  "aggs": {
    "grades_stats": {
      "extended_stats": {
        "field": "grade",
        "sigma": 3          
      }
    }
  }
}

sigma может быть любым неотрицательным числом с плавающей запятой, что означает, что вы можете запросить нецелые значения, такие как 1.5. Значение 0 является допустимым, но просто вернёт среднее значение для границ upper и lower.

Границы upper и lower рассчитываются как метрики по генеральной совокупности, поэтому они всегда будут такими же, как upper_population и lower_population соответственно.

Если вам нужно агрегировать по значению, которое не индексируется, используйте runtime-поле. Допустим, мы обнаружили, что оценки, над которыми мы работали, относятся к экзамену, который был выше уровня студентов, и мы хотим его «исправить»:

resp = client.search(
    index="exams",
    size=0,
    runtime_mappings={
        "grade.corrected": {
            "type": "double",
            "script": {
                "source": "emit(Math.min(100, doc['grade'].value * params.correction))",
                "params": {
                    "correction": 1.2
                }
            }
        }
    },
    aggs={
        "grades_stats": {
            "extended_stats": {
                "field": "grade.corrected"
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'exams',
  body: {
    size: 0,
    runtime_mappings: {
      'grade.corrected' => {
        type: 'double',
        script: {
          source: "emit(Math.min(100, doc['grade'].value * params.correction))",
          params: {
            correction: 1.2
          }
        }
      }
    },
    aggregations: {
      grades_stats: {
        extended_stats: {
          field: 'grade.corrected'
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "exams",
  size: 0,
  runtime_mappings: {
    "grade.corrected": {
      type: "double",
      script: {
        source: "emit(Math.min(100, doc['grade'].value * params.correction))",
        params: {
          correction: 1.2,
        },
      },
    },
  },
  aggs: {
    grades_stats: {
      extended_stats: {
        field: "grade.corrected",
      },
    },
  },
});
console.log(response);

GET /exams/_search
{
  "size": 0,
  "runtime_mappings": {
    "grade.corrected": {
      "type": "double",
      "script": {
        "source": "emit(Math.min(100, doc['grade'].value * params.correction))",
        "params": {
          "correction": 1.2
        }
      }
    }
  },
  "aggs": {
    "grades_stats": {
      "extended_stats": { "field": "grade.corrected" }
    }
  }
}

Параметр missing определяет, как должны обрабатываться документы, у которых отсутствует значение. По умолчанию они игнорируются, но также можно обработать их так, как будто у них есть значение.

resp = client.search(
    index="exams",
    size=0,
    aggs={
        "grades_stats": {
            "extended_stats": {
                "field": "grade",
                "missing": 0
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'exams',
  body: {
    size: 0,
    aggregations: {
      grades_stats: {
        extended_stats: {
          field: 'grade',
          missing: 0
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "exams",
  size: 0,
  aggs: {
    grades_stats: {
      extended_stats: {
        field: "grade",
        missing: 0,
      },
    },
  },
});
console.log(response);

GET /exams/_search
{
  "size": 0,
  "aggs": {
    "grades_stats": {
      "extended_stats": {
        "field": "grade",
        "missing": 0        
      }
    }
  }
}