› › ›

Параметры жизненного цикла потока данных в Elasticsearch

Вот доступные параметры для настройки жизненного цикла потока данных.

Параметры уровня кластера

data_streams.lifecycle.retention.max: (Динамический, единица измерения времени) Максимальный срок хранения, который будет применяться ко всем потокам данных пользователей, управляемых жизненным циклом потока данных. Максимальный срок хранения также переопределяет срок хранения потока данных, срок хранения которого превышает максимальный срок хранения. Он должен быть больше, чем 10s.

data_streams.lifecycle.retention.default: (Динамический, единица измерения времени) Срок хранения, который будет применяться ко всем пользовательским потокам данных, управляемым жизненным циклом потока данных, для которых не настроен срок хранения. Он должен быть больше, чем 10s и меньше или равен data_streams.lifecycle.retention.max.

data_streams.lifecycle.poll_interval: (Динамический, единица измерения времени) Как часто Elasticsearch проверяет, какое действие следует предпринять для всех потоков данных с встроенным жизненным циклом. По умолчанию 5m.

cluster.lifecycle.default.rollover

(Динамический, строка) Это свойство принимает строку в формате «ключ-значение» и настраивает условия, которые приведут к перероллу потока данных, когда у него настроен lifecycle. Это свойство является деталью реализации и может быть изменено. В настоящее время по умолчанию max_age=auto,max_primary_shard_size=50gb,min_docs=1,max_primary_shard_docs=200000000, это означает, что ваш поток данных будет перероллирован, если выполняется любое из следующих условий:

Любой первичный фрагмент достигнет размера 50 ГБ,
или любой первичный фрагмент содержит 200 000 000 документов
или индекс достигнет определенного возраста, который зависит от срока хранения вашего потока данных,
и имеет по крайней мере один документ.

data_streams.lifecycle.target.merge.policy.merge_factor: (Динамический, целое число) Жизненный цикл потока данных реализует слияние хвостов, обновляя коэффициент политики слияния Lucene для целевого базового индекса. Коэффициент слияния — это количество сегментов, которые должны быть объединены вместе, а также максимальное количество сегментов, которое мы ожидаем найти на данном уровне. Этот параметр управляет значением, которое жизненный цикл потока данных настраивает в целевом индексе. По умолчанию 16. Значение будет видно в параметре индекса index.merge.policy.merge_factor целевого индекса.

data_streams.lifecycle.target.merge.policy.floor_segment: (Динамический) Жизненный цикл потока данных реализует слияние хвостов, обновляя нижний предел сегмента политики слияния Lucene для целевого базового индекса. Этот размер нижнего предела сегмента — способ предотвращения наличия у индексов длинного хвоста очень маленьких сегментов. Этот параметр управляет значением, которое жизненный цикл потока данных настраивает в целевом индексе. По умолчанию 100MB.

data_streams.lifecycle.signalling.error_retry_interval: (Динамический, целое число) Представляет количество попыток, которые жизненный цикл потока данных должен выполнить для индекса на шаге с ошибкой, чтобы указать, что индекс не прогрессирует (т.е. он застрял на шаге с ошибкой). Текущий механизм сигнализации — это оператор журнала уровня error, однако в будущем механизм сигнализации может быть расширен. По умолчанию 10 попыток.

Параметры уровня индекса

Следующие параметры уровня индекса обычно настраиваются на базовых индексах потока данных.

index.lifecycle.prefer_ilm: (Динамический, булево) Этот параметр определяет, какой функциональный модуль управляет базовым индексом потока данных, если и только если базовый индекс имеет политику управления жизненным циклом индекса (ILM), а поток данных также имеет встроенный жизненный цикл. Когда true этот индекс управляется ILM, когда false базовый индекс управляется жизненным циклом потока данных. По умолчанию true.

index.lifecycle.origination_date: (Динамический, целое число типа long) Если указано, это метка времени, используемая для вычисления возраста поколения базового индекса после того, как этот базовый индекс был перероллирован. Возраст поколения используется для определения срока хранения данных, поэтому вы можете использовать этот параметр, если вы создаете базовый индекс, содержащий более старые данные, и хотите гарантировать, что срок хранения или другие части жизненного цикла будут применяться на основе исходной метки времени данных, а не метки времени, когда они были индексированы. Указывается как значение эпохи Unix в миллисекундах.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/data-stream-lifecycle-settings.html