Поток данных журналов

Поток данных логов — это тип потока данных, который хранит данные логов более эффективно.

В тестах производительности данные логов, хранящиеся в потоке данных логов, занимали примерно в 2,5 раза меньше места на диске, чем обычные потоки данных. Точное влияние зависит от набора данных.

Чтобы создать поток данных логов, установите вашу шаблон index.mode на logsdb:

resp = client.indices.put_index_template(
    name="my-index-template",
    index_patterns=[
        "logs-*"
    ],
    data_stream={},
    template={
        "settings": {
            "index.mode": "logsdb"
        }
    },
    priority=101,
)
print(resp)

const response = await client.indices.putIndexTemplate({
  name: "my-index-template",
  index_patterns: ["logs-*"],
  data_stream: {},
  template: {
    settings: {
      "index.mode": "logsdb",
    },
  },
  priority: 101,
});
console.log(response);

PUT _index_template/my-index-template
{
  "index_patterns": ["logs-*"],
  "data_stream": { },
  "template": {
     "settings": {
        "index.mode": "logsdb" 
     }
  },
  "priority": 101 
}

После создания шаблона индекса новые индексы, использующие этот шаблон, будут настроены как поток данных логов. Вы можете начать индексирование данных и использовать поток данных.

Вы также можете установить режим индексации и настроить другие параметры шаблона в интерфейсе Elastic UI.

Если у вас есть необходимая подписка, режим индексации logsdb использует синтетический _source, который опускает хранение исходного _source поля. Вместо этого источник документа синтезируется из значений doc или сохранённых полей при получении документа.

Если у вас нет необходимой подписки, режим logsdb использует исходное поле _source.

Прежде чем использовать синтетический источник, ознакомьтесь с ограничениями.

При работе с полями с несколькими значениями настройка index.mapping.synthetic_source_keep контролирует, как значения полей сохраняются для реконструкции синтетического источника. В logsdb значение по умолчанию — arrays, которое сохраняет как дублирующие значения, так и порядок элементов. Однако точная структура элементов массива и объектов не обязательно сохраняется. Сохранение дубликатов и порядка может иметь важное значение для некоторых полей логов, таких как записи DNS A, заголовки HTTP и записи логов, которые представляют последовательные или повторяющиеся события.

В режиме индексации logsdb по умолчанию применяются следующие настройки сортировки:

Вы можете переопределить эти настройки сортировки. Например, чтобы сортировать по разным полям и изменить порядок, вручную настройте index.sort.field и index.sort.order. Подробнее см. в разделе Сортировка индекса.

При использовании настроек сортировки по умолчанию поле host.name автоматически вставляется в сопоставления индексов в качестве поля keyword, чтобы обеспечить возможность применения сортировки. Это гарантирует, что логи сортируются и извлекаются эффективно на основе полей host.name и @timestamp.

Чтобы применить другие настройки сортировки к существующему потоку данных, обновите компоненты шаблонов потока данных, а затем выполните или дождитесь переноса.

Если вы включаете режим индексации logsdb для потока данных, который уже существует, убедитесь, что проверили сопоставления и сортировку. Режим logsdb автоматически преобразует поле host.name в ключевое слово, если оно включено в настройках сортировки. Если поле host.name уже существует, но имеет другой тип, могут возникнуть ошибки сопоставления, препятствующие полному применению режима logsdb.

Чтобы избежать конфликтов сопоставлений, рассмотрите следующие варианты:

По умолчанию режим индексации logsdb использует best_compression кодек, который применяет сжатие ZSTD к сохранённым полям. Вы можете переключиться на кодек default для более быстрого сжатия с несколько большим размером занимаемого места.

Режим индексации logsdb также автоматически применяет специализированные кодеки для числовых значений doc, чтобы оптимизировать использование хранилища. Числовые поля кодируются с помощью следующей последовательности кодеков:

Каждый метод кодирования оценивается с помощью эвристик, определяемых распределением данных. Например, алгоритм проверяет, являются ли данные монотонно не убывающими или не возрастающими. В случае, если это так, применяется кодирование разницы; в противном случае процесс продолжается с использованием следующего метода кодирования (смещение).

Кодирование специфично для каждого сегмента Lucene и повторно применяется при слиянии сегментов. Объединённый сегмент Lucene может использовать другое кодирование, чем исходные сегменты, в зависимости от характеристик объединённых данных.

Для ключевых полей применяется кодирование сплошной последовательности (RLE) к порядкам, которые представляют позиции в словаре ключевых слов на уровне сегмента Lucene. Это сжатие используется, когда несколько последовательных документов имеют одинаковое ключевое слово.

Режим индексации logsdb использует следующие настройки ignore. Вы можете переопределить эти настройки по мере необходимости.

По умолчанию режим индексации logsdb устанавливает ignore_malformed на true. С этой настройкой документы с повреждёнными полями могут быть проиндексированы без сбоев при загрузке.

В режиме индексации logsdb настройка index.mapping.ignore_above по умолчанию применяется на уровне индекса, чтобы обеспечить эффективное хранение и индексирование больших ключевых полей. Значение по умолчанию для ignore_above на уровне индекса составляет 8191 символ. Используя кодировку UTF-8, это приводит к ограничению в 32764 байта, в зависимости от кодировки символов.

Настройка на уровне отображения ignore_above имеет приоритет. Если для конкретного поля в его отображении определено значение ignore_above, это значение переопределяет значение на уровне индекса index.mapping.ignore_above. Такое поведение по умолчанию помогает оптимизировать производительность индексации, предотвращая индексирование чрезмерно больших строковых значений.

Если вам нужно настроить ограничение, вы можете переопределить его на уровне отображения или изменить значение по умолчанию на уровне индекса.

В режиме индексации logsdb значение настройки index.mapping.total_fields.ignore_dynamic_beyond_limit установлено по умолчанию в true. Эта настройка позволяет добавлять динамически отображаемые поля поверх статически определённых полей, даже если общее количество полей превышает index.mapping.total_fields.limit. Вместо того, чтобы вызывать ошибку индексации, дополнительные динамически отображаемые поля игнорируются, чтобы обеспечить продолжение загрузки.

Когда режим индексации logsdb использует синтетические _source и doc_values отключены для поля в отображении, Elasticsearch может установить значение настройки store в true для этого поля. Это гарантирует, что данные поля остаются доступными для восстановления исходного документа при использовании синтетического _source.

Например, это изменение происходит с текстовыми полями, когда store является false и подходящего многопольного поля для восстановления исходного значения нет.

Режим индексации logsdb использует следующие настройки: