Настройка потока данных

Чтобы настроить поток данных, выполните следующие действия:

Также можно преобразовать псевдоним индекса в поток данных.

Хотя это необязательно, мы рекомендуем использовать ILM для автоматизации управления базовыми индексами вашего потока данных. Для ILM требуется политика жизненного цикла индексов.

Чтобы создать политику жизненного цикла индексов в Kibana, откройте главное меню и перейдите к Управление стеком > Политики жизненного цикла индексов. Нажмите Создать политику.

Также можно использовать API для создания политики жизненного цикла.

PUT _ilm/policy/my-lifecycle-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

Поток данных требует соответствующего шаблона индекса. В большинстве случаев вы составляете этот шаблон индекса, используя один или несколько шаблонов компонентов. Обычно вы используете отдельные шаблоны компонентов для отображения и настроек индексов. Это позволяет повторно использовать шаблоны компонентов в нескольких шаблонах индексов.

При создании шаблонов компонентов включите:

Чтобы создать шаблон компонента в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Шаблоны индексов нажмите Создать шаблон компонента.

Также можно использовать API для создания шаблона компонента.

# Creates a component template for mappings
PUT _component_template/my-mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "date_optional_time||epoch_millis"
        },
        "message": {
          "type": "wildcard"
        }
      }
    }
  },
  "_meta": {
    "description": "Mappings for @timestamp and message fields",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

# Creates a component template for index settings
PUT _component_template/my-settings
{
  "template": {
    "settings": {
      "index.lifecycle.name": "my-lifecycle-policy"
    }
  },
  "_meta": {
    "description": "Settings for ILM",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

Используйте ваши шаблоны компонентов для создания шаблона индекса. Укажите:

Чтобы создать шаблон индекса в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Шаблоны индексов нажмите Создать шаблон.

Также можно использовать API для создания шаблона индекса. Включите объект data_stream, чтобы включить потоки данных.

PUT _index_template/my-index-template
{
  "index_patterns": ["my-data-stream*"],
  "data_stream": { },
  "composed_of": [ "my-mappings", "my-settings" ],
  "priority": 500,
  "_meta": {
    "description": "Template for my time series data",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

Запросы индексирования добавляют документы в поток данных. Эти запросы должны использовать op_type из create. Документы должны содержать поле @timestamp.

Чтобы автоматически создать поток данных, отправьте запрос индексирования, который нацелен на имя потока. Это имя должно совпадать с одним из шаблонов индексов вашего шаблона индекса.

PUT my-data-stream/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736" }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "message": "192.0.2.255 - - [06/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" }

POST my-data-stream/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}

Также можно вручную создать поток, используя API создания потока данных. Имя потока по-прежнему должно соответствовать одному из шаблонов индексов вашего шаблона.

PUT _data_stream/my-data-stream

Используйте права доступа к индексам, чтобы управлять доступом к потоку данных. Предоставление прав на поток данных предоставляет те же права на его базовые индексы.

Пример см. в разделе о правах доступа к потоку данных.

До Elasticsearch 7.9 вы обычно использовали псевдоним индекса с индексом записи для управления данными временных рядов. Потоки данных заменяют эту функциональность, требуют меньше обслуживания и автоматически интегрируются с уровнями данных.

Чтобы преобразовать псевдоним индекса с индексом записи в поток данных с тем же именем, используйте API миграции в поток данных. Во время преобразования индексы псевдонима станут скрытыми базовыми индексами потока. Индекс записи псевдонима станет индексом записи потока. Потоку по-прежнему требуется соответствующий шаблон индекса, поддерживающий потоки данных.

POST _data_stream/_migrate/my-time-series-data

Чтобы получить информацию о потоке данных в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Потоки данных нажмите имя потока данных.

Также можно использовать API получения потока данных.

GET _data_stream/my-data-stream

Чтобы удалить поток данных и его базовые индексы в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Потоки данных нажмите значок корзины. Значок отображается только если у вас есть delete_index право доступа к безопасности для потока данных.

Также можно использовать API удаления потока данных.

DELETE _data_stream/my-data-stream