eager_global_ordinals

Для поддержки агрегаций и других операций, требующих поиска значений полей в каждом документе, Elasticsearch использует структуру данных, называемую doc values. Типы полей, основанные на терминах, такие как keyword, хранят свои значения doc values с использованием отображения ординалов для более компактного представления. Это отображение работает путем присвоения каждому термину целочисленного значения, увеличивающегося по лексикографическому порядку, или ординала. Значения doc values поля хранят только ординалы для каждого документа вместо исходных терминов, с отдельной структурой поиска для преобразования между ординалами и терминами.

При использовании в агрегациях ординалы могут значительно улучшить производительность. Например, агрегация terms полагается только на ординалы для сбора документов в корзины на уровне фрагмента, а затем преобразует ординалы обратно в исходные значения терминов при объединении результатов по фрагментам.

Каждый фрагмент индекса определяет своё отображение ординалов, но агрегации собирают данные по всему фрагменту. Таким образом, чтобы использовать ординалы для операций на уровне фрагмента, таких как агрегации, Elasticsearch создаёт единое отображение, называемое глобальными ординалами. Глобальное отображение ординалов основано на ординалах сегмента и работает, поддерживая отображение от глобального ординала до локального ординала для каждого сегмента.

Глобальные ординалы используются, если запрос содержит следующие компоненты:

Глобальное отображение ординалов должно быть построено, прежде чем ординалы могут быть использованы во время поиска. По умолчанию отображение загружается во время поиска в первый раз, когда требуются глобальные ординалы. Это правильный подход, если вы оптимизируете скорость индексирования, но если производительность поиска является приоритетной, рекомендуется загружать глобальные ординалы для полей, которые будут использоваться в агрегациях заранее:

resp = client.indices.put_mapping(
    index="my-index-000001",
    properties={
        "tags": {
            "type": "keyword",
            "eager_global_ordinals": True
        }
    },
)
print(resp)

response = client.indices.put_mapping(
  index: 'my-index-000001',
  body: {
    properties: {
      tags: {
        type: 'keyword',
        eager_global_ordinals: true
      }
    }
  }
)
puts response

const response = await client.indices.putMapping({
  index: "my-index-000001",
  properties: {
    tags: {
      type: "keyword",
      eager_global_ordinals: true,
    },
  },
});
console.log(response);

PUT my-index-000001/_mapping
{
  "properties": {
    "tags": {
      "type": "keyword",
      "eager_global_ordinals": true
    }
  }
}

Когда eager_global_ordinals включен, глобальные ординалы строятся, когда фрагмент обновляется — Elasticsearch всегда загружает их, прежде чем обнародовать изменения в содержимом индекса. Это переносит затраты на построение глобальных ординалов с поиска на время индексирования. Elasticsearch также будет заранее строить глобальные ординалы при создании новой копии фрагмента, как это может произойти при увеличении числа реплик или перемещении фрагмента на новый узел.

Загрузку можно отключить в любое время, обновив параметр eager_global_ordinals:

resp = client.indices.put_mapping(
    index="my-index-000001",
    properties={
        "tags": {
            "type": "keyword",
            "eager_global_ordinals": False
        }
    },
)
print(resp)

response = client.indices.put_mapping(
  index: 'my-index-000001',
  body: {
    properties: {
      tags: {
        type: 'keyword',
        eager_global_ordinals: false
      }
    }
  }
)
puts response

const response = await client.indices.putMapping({
  index: "my-index-000001",
  properties: {
    tags: {
      type: "keyword",
      eager_global_ordinals: false,
    },
  },
});
console.log(response);

PUT my-index-000001/_mapping
{
  "properties": {
    "tags": {
      "type": "keyword",
      "eager_global_ordinals": false
    }
  }
}

Обычно глобальные ординалы не создают большой нагрузки по времени загрузки и использованию памяти. Однако загрузка глобальных ординалов может быть дорогостоящей для индексов с большими фрагментами или если поля содержат большое количество уникальных значений терминов. Поскольку глобальные ординалы предоставляют единое отображение для всех сегментов фрагмента, их также необходимо полностью перестроить при появлении нового сегмента.

В некоторых случаях можно вообще избежать загрузки глобальных ординалов: