Учебник: Удержание потоков данных

В этом руководстве мы рассмотрим срок хранения потоков данных; мы определим его, рассмотрим, как его можно настроить и как он применяется. Имейте в виду, что следующие параметры применяются только к потокам данных, управляемым циклом жизни потока данных.

Вы можете проверить, управляется ли поток данных циклом жизни потока данных, с помощью API для получения цикла жизни потока данных:

resp = client.indices.get_data_lifecycle(
    name="my-data-stream",
)
print(resp)

response = client.indices.get_data_lifecycle(
  name: 'my-data-stream'
)
puts response

const response = await client.indices.getDataLifecycle({
  name: "my-data-stream",
});
console.log(response);

GET _data_stream/my-data-stream/_lifecycle

Результат должен выглядеть следующим образом:

{
  "data_streams": [
    {
      "name": "my-data-stream",                                   
      "lifecycle": {
        "enabled": true                                           
      }
    }
  ]
}

Мы определяем хранение как минимальный период времени, в течение которого данные потока данных будут храниться в Elasticsearch. По истечении этого периода Elasticsearch разрешается удалить эти данные, чтобы освободить место и/или управлять затратами.

Мы определяем 4 разных типа хранения:

Эффективный срок хранения вычисляется следующим образом:

Приведённые выше примеры продемонстрированы ниже:

Взяв наш пример, если мы получим цикл жизни my-data-stream:

resp = client.indices.get_data_lifecycle(
    name="my-data-stream",
)
print(resp)

response = client.indices.get_data_lifecycle(
  name: 'my-data-stream'
)
puts response

const response = await client.indices.getDataLifecycle({
  name: "my-data-stream",
});
console.log(response);

GET _data_stream/my-data-stream/_lifecycle

Мы видим, что оно останется таким же, как настроенное пользователем:

{
  "global_retention" : {
    "max_retention" : "90d",                                   
    "default_retention" : "7d"                                 
  },
  "data_streams": [
    {
      "name": "my-data-stream",
      "lifecycle": {
        "enabled": true,
        "data_retention": "30d",                                
        "effective_retention": "30d",                           
        "retention_determined_by": "data_stream_configuration"  
      }
    }
  ]
}

Время хранения применяется к оставшимся базовым индексам потока данных в качестве последнего шага запуска жизненного цикла потока данных. Жизненный цикл потока данных получит базовые индексы, чьё generation_time больше, чем период эффективного хранения, и удалит их. generation_time применимо только к перероллированным базовым индексам и представляет собой либо время, прошедшее с момента перероллирования базового индекса, либо время, настроенное необязательно в настройке index.lifecycle.origination_date.