Агрегация Cardinality

Эта агрегация также поддерживает опцию precision_threshold:

resp = client.search(
    index="sales",
    size="0",
    aggs={
        "type_count": {
            "cardinality": {
                "field": "type",
                "precision_threshold": 100
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      type_count: {
        cardinality: {
          field: 'type',
          precision_threshold: 100
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "sales",
  size: 0,
  aggs: {
    type_count: {
      cardinality: {
        field: "type",
        precision_threshold: 100,
      },
    },
  },
});
console.log(response);

POST /sales/_search?size=0
{
  "aggs": {
    "type_count": {
      "cardinality": {
        "field": "type",
        "precision_threshold": 100 
      }
    }
  }
}

Для вычисления точных значений требуется загрузить значения в хеш-множество и вернуть его размер. Это не масштабируется при работе с множествами высокой кратности и/или большими значениями, так как требуемое использование памяти и необходимость передачи этих множеств между узлами повлекут чрезмерное использование ресурсов кластера.

Эта агрегация cardinality основана на алгоритме HyperLogLog++, который подсчитывает значения на основе хешей с интересными свойствами:

Для порога точности c используемая реализация требует около c * 8 байт.

На следующей диаграмме показано, как ошибка меняется до и после порога:

Для всех трех порогов подсчеты были точными до заданного порога. Хотя это не гарантируется, это, вероятно, так. Точность на практике зависит от набора данных. В целом, большинство наборов данных демонстрируют последовательно высокую точность. Также обратите внимание, что даже с порогом в 100 ошибка остается очень низкой (1-6%, как видно на графике выше), даже при подсчете миллионов элементов.

Алгоритм HyperLogLog++ зависит от ведущих нулей хешированных значений, точные распределения хешей в наборе данных могут влиять на точность подсчета количества уникальных значений.

Для строковых полей с высокой кратностью может быть быстрее сохранить хеш значений поля в индексе, а затем выполнить агрегацию cardinality на этом поле. Это можно сделать, предоставив хеши со стороны клиента или позволив Elasticsearch вычислить хеши для вас, используя плагин mapper-murmur3.

Если вам нужно количество уникальных значений комбинации двух полей, создайте поле runtime, объединяющее их, и выполните агрегацию.

resp = client.search(
    index="sales",
    size="0",
    runtime_mappings={
        "type_and_promoted": {
            "type": "keyword",
            "script": "emit(doc['type'].value + ' ' + doc['promoted'].value)"
        }
    },
    aggs={
        "type_promoted_count": {
            "cardinality": {
                "field": "type_and_promoted"
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    runtime_mappings: {
      type_and_promoted: {
        type: 'keyword',
        script: "emit(doc['type'].value + ' ' + doc['promoted'].value)"
      }
    },
    aggregations: {
      type_promoted_count: {
        cardinality: {
          field: 'type_and_promoted'
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "sales",
  size: 0,
  runtime_mappings: {
    type_and_promoted: {
      type: "keyword",
      script: "emit(doc['type'].value + ' ' + doc['promoted'].value)",
    },
  },
  aggs: {
    type_promoted_count: {
      cardinality: {
        field: "type_and_promoted",
      },
    },
  },
});
console.log(response);

POST /sales/_search?size=0
{
  "runtime_mappings": {
    "type_and_promoted": {
      "type": "keyword",
      "script": "emit(doc['type'].value + ' ' + doc['promoted'].value)"
    }
  },
  "aggs": {
    "type_promoted_count": {
      "cardinality": {
        "field": "type_and_promoted"
      }
    }
  }
}

Параметр missing определяет, как должны обрабатываться документы, у которых отсутствует значение. По умолчанию они игнорируются, но также можно обработать их так, как будто у них есть значение.

resp = client.search(
    index="sales",
    size="0",
    aggs={
        "tag_cardinality": {
            "cardinality": {
                "field": "tag",
                "missing": "N/A"
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      tag_cardinality: {
        cardinality: {
          field: 'tag',
          missing: 'N/A'
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "sales",
  size: 0,
  aggs: {
    tag_cardinality: {
      cardinality: {
        field: "tag",
        missing: "N/A",
      },
    },
  },
});
console.log(response);

POST /sales/_search?size=0
{
  "aggs": {
    "tag_cardinality": {
      "cardinality": {
        "field": "tag",
        "missing": "N/A" 
      }
    }
  }
}

Вы можете выполнять агрегации cardinality с помощью различных механизмов:

Кроме того, есть два режима «на основе эвристики». Эти режимы заставят Elasticsearch использовать некоторые данные о состоянии индекса для выбора подходящего метода выполнения.

Если не указано иное, Elasticsearch применит эвристику для выбора подходящего режима. Также обратите внимание, что для некоторых данных (не порядковых полей) direct является единственным вариантом, и подсказка будет проигнорирована в этих случаях. Как правило, не нужно устанавливать это значение.