Перенос индексов
При индексировании временных рядов данных, таких как логи или метрики, невозможно постоянно писать в один и тот же индекс. Чтобы удовлетворить требованиям индексирования и поиска, а также управлять использованием ресурсов, вы пишете в индекс до достижения определённого порога, а затем создаёте новый индекс и начинаете в него писать. Использование переноса индексов позволяет:
- Оптимизировать активный индекс для высоких скоростей загрузки на высокопроизводительных узлах hot.
- Оптимизировать производительность поиска на узлах warm.
- Перемещать более старые и реже используемые данные на более дешёвые узлы cold.
- Удалять данные в соответствии с политиками удержания путём удаления целых индексов.
Рекомендуется использовать потоки данных для управления данными временных рядов. Потоки данных автоматически отслеживают индекс записи, сохраняя при этом минимальную конфигурацию.
Каждый поток данных требует шаблона индекса, который содержит:
- Имя или шаблон с подстановкой (
*) для потока данных. - Поле временной метки потока данных. Это поле должно быть отображено как поле типа
dateилиdate_nanosи должно быть включено в каждый документ, индексируемый в поток данных. - Картирование и настройки, применяемые к каждому фоновому индексу при его создании.
Потоки данных предназначены для данных только для добавления, где имя потока данных может использоваться в качестве целевого объекта для операций (чтение, запись, перенос, сжатие и т. д.). Если ваш случай использования требует обновления данных на месте, вы можете вместо этого управлять данными временных рядов с помощью псевдонимов индексов. Однако существует несколько дополнительных шагов конфигурации и понятий:
- Шаблон индекса, который определяет настройки для каждого нового индекса в серии. Вы оптимизируете эту конфигурацию для загрузки, обычно используя столько фрагментов, сколько у вас узлов hot.
- Псевдоним индекса, который ссылается на весь набор индексов.
- Определенный индекс, обозначенный как индекс записи. Это активный индекс, обрабатывающий все запросы на запись. При каждом переносе индекса новый индекс становится индексом записи.
Автоматический перенос индексов
ILM позволяет автоматически переносить индекс на новый индекс на основе размера индекса, количества документов или возраста. При срабатывании переноса создаётся новый индекс, псевдоним записи обновляется, чтобы указывать на новый индекс, и все последующие обновления записываются в новый индекс.
Перенос на новый индекс на основе размера, количества документов или возраста предпочтительнее переноса по времени. Перенос в произвольное время часто приводит к множеству небольших индексов, что может негативно сказаться на производительности и использовании ресурсов.
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/index-rollover.html
