Использование Elasticsearch для временных рядов

Elasticsearch предоставляет возможности для хранения, управления и поиска временных рядов данных, таких как журналы и метрики. После добавления данных в Elasticsearch вы можете анализировать и визуализировать их с помощью Kibana и других функций Elastic Stack.

Функция ILM Elasticsearch использует уровни данных для автоматического перемещения устаревших данных на узлы с более дешёвым оборудованием по мере их старения. Это помогает улучшить производительность и снизить затраты на хранение.

Требуются уровни «горячий» и «контент». Уровни «тёплый», «холодный» и «замороженный» являются необязательными.

Используйте высокопроизводительные узлы в уровнях «горячий» и «тёплый» для более быстрого индексирования и поиска последних данных. Используйте медленные и более дешёвые узлы в уровнях «холодный» и «замороженный», чтобы снизить затраты.

Уровень «контент» обычно не используется для временных рядов данных. Однако он требуется для создания системных индексов и других индексов, которые не являются частью потока данных.

Шаги по настройке уровней данных различаются в зависимости от типа вашего развертывания:

# Content tier
node.roles: [ data_content ]

# Hot tier
node.roles: [ data_hot ]

# Warm tier
node.roles: [ data_warm ]

# Cold tier
node.roles: [ data_cold ]

# Frozen tier
node.roles: [ data_frozen ]

node.roles: [ data_content, data_hot, data_warm ]

node.roles: [ master, ingest, ml, data_hot, transform ]

Уровни «холодный» и «замороженный» могут использовать поисковые снимки для снижения локальных затрат на хранение.

Для использования поисковых снимков необходимо зарегистрировать поддерживаемое хранилище снимков. Шаги по регистрации этого хранилища зависят от типа вашего развертывания и поставщика хранилища:

Поток данных хранит ваши данные в нескольких поддерживающих индексах. ILM использует политику жизненного цикла индекса для автоматического перемещения этих индексов по уровням данных.

Если вы используете Fleet или Elastic Agent, отредактируйте одну из встроенных политик жизненного цикла Elasticsearch. Если вы используете пользовательское приложение, создайте собственную политику. В любом случае убедитесь, что ваша политика:

PUT _ilm/policy/logs
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

PUT _ilm/policy/my-lifecycle-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

Если вы используете пользовательское приложение, вам нужно настроить собственный поток данных. Поток данных требует соответствующего шаблона индекса. В большинстве случаев этот шаблон индекса составляется с использованием одного или нескольких шаблонов компонентов. Обычно используются отдельные шаблоны компонентов для отображения и настроек индекса. Это позволяет повторно использовать шаблоны компонентов в нескольких шаблонах индексов.

При создании шаблонов компонентов включите:

Чтобы создать шаблон компонента в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Шаблоны индексов нажмите Создать шаблон компонента.

Вы также можете использовать API создания шаблона компонента.

# Creates a component template for mappings
PUT _component_template/my-mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "date_optional_time||epoch_millis"
        },
        "message": {
          "type": "wildcard"
        }
      }
    }
  },
  "_meta": {
    "description": "Mappings for @timestamp and message fields",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

# Creates a component template for index settings
PUT _component_template/my-settings
{
  "template": {
    "settings": {
      "index.lifecycle.name": "my-lifecycle-policy"
    }
  },
  "_meta": {
    "description": "Settings for ILM",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

Используйте шаблоны компонентов для создания шаблона индекса. Укажите:

Чтобы создать шаблон индекса в Kibana, откройте главное меню и перейдите к Управление стеком > Управление индексами. В представлении Шаблоны индексов нажмите Создать шаблон.

Вы также можете использовать API создания шаблона индекса. Включите объект data_stream, чтобы включить потоки данных.

PUT _index_template/my-index-template
{
  "index_patterns": ["my-data-stream*"],
  "data_stream": { },
  "composed_of": [ "my-mappings", "my-settings" ],
  "priority": 500,
  "_meta": {
    "description": "Template for my time series data",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

Запросы индексирования добавляют документы в поток данных. Эти запросы должны использовать op_type типа create. Документы должны содержать поле @timestamp.

Для автоматического создания потока данных отправьте запрос индексирования, который направлен на имя потока. Это имя должно соответствовать одному из шаблонов индекса вашего шаблона индекса.

PUT my-data-stream/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736" }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "message": "192.0.2.255 - - [06/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" }

POST my-data-stream/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}

Чтобы исследовать и искать ваши данные в Kibana, откройте главное меню и выберите Обзор. См. документацию Kibana по обзору.

Используйте функцию Панель мониторинга Kibana для визуализации ваших данных в виде диаграммы, таблицы, карты и многое другое. См. документацию Kibana по панели мониторинга.

Вы также можете искать и агрегировать ваши данные с помощью API поиска. Используйте динамические поля и шаблоны Grok для динамического извлечения данных из сообщений журналов и другого неструктурированного содержимого во время поиска.

GET my-data-stream/_search
{
  "runtime_mappings": {
    "source.ip": {
      "type": "ip",
      "script": """
        String sourceip=grok('%{IPORHOST:sourceip} .*').extract(doc[ "message" ].value)?.sourceip;
        if (sourceip != null) emit(sourceip);
      """
    }
  },
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "@timestamp": {
              "gte": "now-1d/d",
              "lt": "now/d"
            }
          }
        },
        {
          "range": {
            "source.ip": {
              "gte": "192.0.2.0",
              "lte": "192.0.2.255"
            }
          }
        }
      ]
    }
  },
  "fields": [
    "*"
  ],
  "_source": false,
  "sort": [
    {
      "@timestamp": "desc"
    },
    {
      "source.ip": "desc"
    }
  ]
}

По умолчанию поисковые запросы Elasticsearch являются синхронными. Поиски по замороженным данным, большим временным диапазонам или большим наборам данных могут занимать больше времени. Используйте API асинхронного поиска для выполнения поисков в фоновом режиме. Для получения дополнительных параметров поиска см. Поиск ваших данных.

POST my-data-stream/_async_search
{
  "runtime_mappings": {
    "source.ip": {
      "type": "ip",
      "script": """
        String sourceip=grok('%{IPORHOST:sourceip} .*').extract(doc[ "message" ].value)?.sourceip;
        if (sourceip != null) emit(sourceip);
      """
    }
  },
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "@timestamp": {
              "gte": "now-2y/d",
              "lt": "now/d"
            }
          }
        },
        {
          "range": {
            "source.ip": {
              "gte": "192.0.2.0",
              "lte": "192.0.2.255"
            }
          }
        }
      ]
    }
  },
  "fields": [
    "*"
  ],
  "_source": false,
  "sort": [
    {
      "@timestamp": "desc"
    },
    {
      "source.ip": "desc"
    }
  ]
}