› › ›

Процессор dissect

Аналогично процессору Grok, dissect также извлекает структурированные поля из одного текстового поля в документе. Однако, в отличие от Grok, dissect не использует регулярные выражения. Это позволяет сделать синтаксис dissect простым и в некоторых случаях быстрее, чем Grok.

Dissect сопоставляет одно текстовое поле с определенным шаблоном.

Например, следующий шаблон:

%{clientip} %{ident} %{auth} [%{@timestamp}] \"%{verb} %{request} HTTP/%{httpversion}\" %{status} %{size}

сопоставит строку лога в формате:

1.2.3.4 - - [30/Apr/1998:22:00:52 +0000] \"GET /english/venues/cities/images/montpellier/18.gif HTTP/1.0\" 200 3171

и приведет к документу со следующими полями:

"doc": {
  "_index": "_index",
  "_type": "_type",
  "_id": "_id",
  "_source": {
    "request": "/english/venues/cities/images/montpellier/18.gif",
    "auth": "-",
    "ident": "-",
    "verb": "GET",
    "@timestamp": "30/Apr/1998:22:00:52 +0000",
    "size": "3171",
    "clientip": "1.2.3.4",
    "httpversion": "1.0",
    "status": "200"
  }
}

Шаблон dissect определяется частями строки, которые будут отброшены. В предыдущем примере первой частью, подлежащей отбрасыванию, является пробел. Dissect находит этот пробел, затем присваивает значение clientip всему до этого пробела. Затем dissect находит [ и ], и присваивает @timestamp всему между [ и ]. Внимательное отношение к частям строки, которые следует отбросить, поможет создать успешные шаблоны dissect.

Для успешного совпадения все ключи в шаблоне должны иметь значение. Если у любого из %{keyname}, определённых в шаблоне, нет значения, то генерируется исключение, которое может быть обработано директивой on_failure. Пустой ключ %{} или имя пропускаемого ключа могут использоваться для сопоставления значений, но исключают значение из конечного документа. Все сопоставленные значения представлены в виде строковых типов данных. Процессор convert может быть использован для преобразования в ожидаемый тип данных.

Dissect также поддерживает модификаторы ключей, которые могут изменить стандартное поведение dissect. Например, вы можете указать dissect игнорировать определённые поля, добавлять поля, пропускать заполнители и т.д. Более подробная информация в разделе ниже.

Таблица 13. Параметры dissect

Имя	Обязательно	Значение по умолчанию	Описание
`field`	да	-	Поле для разделения
`pattern`	да	-	Шаблон для применения к полю
`append_separator`	нет	"" (пустая строка)	Символ(ы), разделяющие добавляемые поля.
`ignore_missing`	нет	false	Если `true` и `field` не существуют или являются `null`, процессор тихо завершается без изменения документа.
`description`	нет	-	Описание процессора. Полезно для описания цели процессора или его конфигурации.
`if`	нет	-	Условное выполнение процессора. См. Условное выполнение процессора.
`ignore_failure`	нет	`false`	Игнорировать сбои для процессора. См. Обработка сбоев в конвейерах.
`on_failure`	нет	-	Обработка сбоев для процессора. См. Обработка сбоев в конвейерах.
`tag`	нет	-	Идентификатор процессора. Полезно для отладки и метрик.

{
  "dissect": {
    "field": "message",
    "pattern" : "%{clientip} %{ident} %{auth} [%{@timestamp}] \"%{verb} %{request} HTTP/%{httpversion}\" %{status} %{size}"
   }
}

Ключи модификаторов разбора

Ключи модификаторов могут изменять стандартное поведение разбора. Ключи модификаторов могут находиться слева или справа от %{keyname}, всегда внутри %{ и }. Например %{+keyname ->} содержит модификаторы добавления и правого отступа.

Таблица 14. Модификаторы разбора

Модификатор	Название	Позиция	Пример	Описание	Подробности
`->`	Пропуск правого отступа	(крайне) справа	`%{keyname1->}`	Пропускает повторяющиеся символы справа	ссылка
`+`	Добавление	слева	`%{+keyname} %{+keyname}`	Объединяет два или более поля вместе	ссылка
`+` с `/n`	Добавление с порядком	слева и справа	`%{+keyname/2} %{+keyname/1}`	Объединяет два или более поля вместе в указанном порядке	ссылка
`?`	Ключ пропуска с именем	слева	`%{?ignoreme}`	Пропускает сопоставленное значение в выводе. Такое же поведение, как у `%{}`	ссылка
`*` и `&`	Ключи ссылки	слева	`%{*r1} %{&r1}`	Устанавливает ключ вывода как значение `*` и значение вывода `&`	ссылка

Модификатор правого отступа (`->`)

Алгоритм, выполняющий разбор, очень строг, так как требует, чтобы все символы в шаблоне совпадали с исходной строкой. Например, шаблон %{fookey} %{barkey} (1 пробел) будет соответствовать строке "foo bar" (1 пробел), но не будет соответствовать строке "foo bar" (2 пробела), так как в шаблоне всего 1 пробел, а в исходной строке 2 пробела.

Модификатор правого отступа помогает в этом случае. Добавление модификатора правого отступа к шаблону %{fookey->} %{barkey}, теперь он будет соответствовать "foo bar" (1 пробел) и "foo bar" (2 пробела), а также "foo bar" (10 пробелов).

Используйте модификатор правого отступа, чтобы разрешить повторение символов после %{keyname->}.

Модификатор правого отступа может быть размещён на любом ключе с другими модификаторами. Он всегда должен быть самым правым модификатором. Например: %{+keyname/1->} и %{->}

Пример модификатора правого отступа

Шаблон	`%{ts->} %{level}`
Входные данные	1998-08-10T17:15:42,466 WARN
Результат	ts = 1998-08-10T17:15:42,466 level = WARN

Модификатор правого отступа может использоваться с пустым ключом, чтобы пропустить нежелательные данные. Например, та же входная строка, но заключённая в скобки, требует использования пустого ключа с правым отступом, чтобы получить тот же результат.

Пример модификатора правого отступа с пустым ключом

Шаблон	`[%{ts}]%{->}[%{level}]`
Входные данные	[1998-08-10T17:15:42,466] [WARN]
Результат	ts = 1998-08-10T17:15:42,466 level = WARN

Модификатор добавления (`+`)

Разбор поддерживает объединение двух или более результатов для вывода. Значения добавляются слева направо. Можно указать разделитель добавления. В этом примере разделитель добавления определен как пробел.

Пример модификатора добавления

Шаблон	`%{+name} %{+name} %{+name} %{+name}`
Входные данные	john jacob jingleheimer schmidt
Результат	name = john jacob jingleheimer schmidt

Модификатор добавления с порядком (`+` и `/n`)

Разбор поддерживает объединение двух или более результатов для вывода. Значения добавляются в соответствии с определённым порядком (/n). Можно указать разделитель добавления. В этом примере разделитель добавления определён как запятая.

Пример модификатора добавления с порядком

Шаблон	`%{+name/2} %{+name/4} %{+name/3} %{+name/1}`
Входные данные	john jacob jingleheimer schmidt
Результат	name = schmidt,john,jingleheimer,jacob

Ключ пропуска с именем (`?`)

Разбор поддерживает игнорирование совпадений в конечном результате. Это можно сделать с помощью пустого ключа %{}, но для лучшей читабельности можно присвоить этому пустому ключу имя.

Пример модификатора ключа пропуска с именем

Шаблон	`%{clientip} %{?ident} %{?auth} [%{@timestamp}]`
Входные данные	1.2.3.4 - - [30/Apr/1998:22:00:52 +0000]
Результат	clientip = 1.2.3.4 @timestamp = 30/Apr/1998:22:00:52 +0000

Ключи ссылок (`*` и `&`)

Поддержка разбора, используя парные значения ключ/значение для структурированного содержимого. Представьте систему, которая частично регистрирует пары ключ/значение. Ключи ссылок позволяют поддерживать это отношение ключ/значение.

Пример модификатора ключа ссылки

Шаблон	`[%{ts}] [%{level}] %{p1}:%{&p1} %{p2}:%{&p2}`
Входные данные	[2018-08-10T17:15:42,466] [ERR] ip:1.2.3.4 error:REFUSED
Результат	ts = 2018-08-10T17:15:42,466 level = ERR ip = 1.2.3.4 error = REFUSED

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/dissect-processor.html

Процессор dissect

Ключи модификаторов разбора

Модификатор правого отступа (->)

Модификатор добавления (+)

Модификатор добавления с порядком (+ и /n)

Ключ пропуска с именем (?)

Ключи ссылок (* и &)

Модификатор правого отступа (`->`)

Модификатор добавления (`+`)

Модификатор добавления с порядком (`+` и `/n`)

Ключ пропуска с именем (`?`)

Ключи ссылок (`*` и `&`)