Управление данными
Данные, которые вы храните в Elasticsearch, обычно делятся на две категории:
- Содержание: коллекция элементов, которые вы хотите искать, например, каталог продуктов
- Данные временных рядов: поток непрерывно генерируемых данных со временем отметки, например, записи логов Содержание может часто обновляться, но значение содержимого остается относительно постоянным со временем. Вы хотите иметь возможность быстро извлекать элементы независимо от их возраста.
Данные временных рядов накапливаются со временем, поэтому вам необходимы стратегии для балансирования ценности данных и стоимости их хранения. По мере старения данные становятся менее важными и менее часто используемыми, поэтому вы можете перенести их на менее дорогостоящее и менее производительное оборудование. Для самых старых данных важно то, что у вас есть доступ к данным. Не страшно, если запросы выполняются дольше.
Для управления данными Elasticsearch предлагает следующие варианты:
ILM может использоваться для управления как индексами, так и потоками данных. Он позволяет вам выполнять следующие действия:
- Определите период хранения данных. Период хранения — это минимальное время, в течение которого ваши данные будут храниться в Elasticsearch. Данные, более старые, чем этот период, могут быть удалены Elasticsearch.
- Определите несколько уровней узлов данных с различными характеристиками производительности.
- Автоматически переводите индексы между уровнями данных в соответствии с вашими потребностями в производительности и политиками хранения.
- Используйте поисковые снимки, хранящиеся в удаленном репозитории, для повышения устойчивости к отказам для ваших старых индексов, одновременно снижая эксплуатационные расходы и сохраняя производительность поиска.
- Выполняйте асинхронные поиски данных, хранящихся на менее производительном оборудовании.
Жизненный цикл потока данных обладает меньшим функционалом, но ориентирован на простоту. Он позволяет вам выполнять следующие действия:
- Определите период хранения данных. Период хранения — это минимальное время, в течение которого ваши данные будут храниться в Elasticsearch. Данные, более старые, чем этот период, могут быть удалены Elasticsearch в более позднее время.
- Повышайте производительность потока данных, выполняя фоновые операции, которые оптимизируют способ хранения ваших данных.
Elastic Curator — это инструмент, который позволяет управлять вашими индексами и снимками, используя пользовательские фильтры и предопределенные действия. Если ILM предоставляет функциональность для управления жизненным циклом индекса, и у вас есть хотя бы базовая лицензия, рассмотрите использование ILM вместо Curator. Многие компоненты стека по умолчанию используют ILM. Подробнее.
Сводка исторических данных — устаревшая функция Elasticsearch, которая позволяет управлять объёмом данных, хранящихся в кластере, аналогично функции уменьшения выборки в ILM и жизненном цикле потока данных. Эту функцию не следует использовать для новых развертываний.
ILM недоступен в Elasticsearch Serverless.
В среде Elastic Cloud или самообслуживаемой среде ILM позволяет автоматически переводить индексы между уровнями данных в соответствии с вашими потребностями в производительности и требованиями к хранению. Это позволяет сбалансировать затраты на оборудование с производительностью. Elasticsearch Serverless устраняет эту сложность, оптимизируя производительность вашего кластера за вас.
Жизненный цикл потока данных — оптимизированный инструмент управления жизненным циклом, который позволяет сосредоточиться на наиболее распространённых потребностях в управлении жизненным циклом, без излишних концепций, связанных с оборудованием, таких как уровни данных.
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/data-management.html
