Настройка для использования дискового пространства

По умолчанию Elasticsearch индексирует и добавляет значения документов к большинству полей, чтобы они могли быть проиндексированы и агрегированы «из коробки». Например, если у вас есть числовое поле под названием foo, на котором нужно выполнить гистограммы, но которое никогда не нужно использовать для фильтрации, вы можете безопасно отключить индексирование для этого поля в ваших отображениях:

resp = client.indices.create(
    index="index",
    mappings={
        "properties": {
            "foo": {
                "type": "integer",
                "index": False
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'index',
  body: {
    mappings: {
      properties: {
        foo: {
          type: 'integer',
          index: false
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "index",
  mappings: {
    properties: {
      foo: {
        type: "integer",
        index: false,
      },
    },
  },
});
console.log(response);

PUT index
{
  "mappings": {
    "properties": {
      "foo": {
        "type": "integer",
        "index": false
      }
    }
  }
}

text поля хранят нормализационные факторы в индексе для облегчения оценки документов. Если вам необходимы только возможности соответствия для поля text, но вы не беспокоитесь о полученных оценках, вы можете использовать тип match_only_text вместо этого. Этот тип поля значительно экономит место, отбрасывая информацию об оценке и позиции.

Динамические отображения строк по умолчанию динамические отображения строк будут индексировать строковые поля как text и keyword. Это расточительно, если вам нужен только один из них. Обычно поле id необходимо индексировать только как keyword, а поле body — только как поле text.

Это можно отключить, либо настроив явные отображения для строковых полей, либо создав динамические шаблоны, которые будут отображать строковые поля как text или keyword.

Например, вот шаблон, который можно использовать, чтобы отображать строковые поля только как keyword:

resp = client.indices.create(
    index="index",
    mappings={
        "dynamic_templates": [
            {
                "strings": {
                    "match_mapping_type": "string",
                    "mapping": {
                        "type": "keyword"
                    }
                }
            }
        ]
    },
)
print(resp)

response = client.indices.create(
  index: 'index',
  body: {
    mappings: {
      dynamic_templates: [
        {
          strings: {
            match_mapping_type: 'string',
            mapping: {
              type: 'keyword'
            }
          }
        }
      ]
    }
  }
)
puts response

const response = await client.indices.create({
  index: "index",
  mappings: {
    dynamic_templates: [
      {
        strings: {
          match_mapping_type: "string",
          mapping: {
            type: "keyword",
          },
        },
      },
    ],
  },
});
console.log(response);

PUT index
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

Более крупные фрагменты будут более эффективными при хранении данных. Чтобы увеличить размер фрагментов, вы можете уменьшить количество первичных фрагментов в индексе, создавая индексы с меньшим количеством первичных фрагментов, создавая меньше индексов (например, используя API переключения индекса) или изменяя существующий индекс с помощью API уменьшения индекса.

Помните, что большие размеры фрагментов имеют недостатки, такие как длительные времена восстановления.

Поле _source хранит исходное JSON-тело документа. Если вам не нужен к нему доступ, вы можете его отключить. Однако API, которому требуется доступ к _source, например, обновление, выделение и повторная индексация, работать не будут.

Поля _source и сохраненные поля могут легко занимать значительный объем дискового пространства. Их можно более агрессивно сжимать, используя best_compression кодек.

Индексы в Elasticsearch хранятся в одном или нескольких фрагментах. Каждый фрагмент — это индекс Lucene и состоит из одного или нескольких сегментов — фактических файлов на диске. Более крупные сегменты более эффективны для хранения данных.

API вынужденного слияния можно использовать для уменьшения количества сегментов на фрагмент. Во многих случаях количество сегментов можно уменьшить до одного на фрагмент, установив max_num_segments=1.

API уменьшения индекса позволяет уменьшить количество фрагментов в индексе. В сочетании с API вынужденного слияния выше это может значительно уменьшить количество фрагментов и сегментов индекса.

Тип, который вы выбираете для числовых данных, может значительно повлиять на использование дискового пространства. В частности, целые числа должны храниться с помощью целочисленного типа (byte, short, integer или long), а числа с плавающей запятой должны храниться либо в scaled_float, если это уместно, либо в наименьшем типе, который соответствует случаю использования: использование float вместо double или half_float вместо float поможет сэкономить место хранения.

Когда Elasticsearch хранит _source, он сжимает несколько документов одновременно, чтобы улучшить общий коэффициент сжатия. Например, очень часто документы имеют одинаковые имена полей, и достаточно часто они имеют общие значения полей, особенно в полях с низкой кардинальностью или распределением Ципфа.

По умолчанию документы сжимаются вместе в порядке их добавления в индекс. Если вы включили сортировку индекса, то вместо этого они сжимаются в отсортированном порядке. Сортировка документов с похожей структурой, полями и значениями вместе должна улучшить коэффициент сжатия.

Поскольку несколько документов сжимаются вместе в блоки, вероятнее найти более длинные повторяющиеся строки в этих _source документах, если поля всегда встречаются в одном и том же порядке.

Сохранение старых данных может быть полезным для последующего анализа, но часто этому препятствуют затраты на хранение. Вы можете использовать выборочное сокращение, чтобы обобщить и сохранить исторические данные с частично затратами на хранение исходных данных. См. Выборочное сокращение потока данных временного ряда.