Обработка данных с помощью DISSECT и GROK

Синтаксис шаблона grok — %{SYNTAX:SEMANTIC}

SYNTAX — это имя шаблона, который соответствует вашему тексту. Например, 3.44 соответствует шаблону NUMBER, а 55.3.244.1 соответствует шаблону IP. Синтаксис определяет способ сопоставления.

SEMANTIC — это идентификатор, который вы задаёте для совпадающего фрагмента текста. Например, 3.44 может быть длительностью события, поэтому вы можете назвать его просто duration. Кроме того, строка 55.3.244.1 может идентифицировать client, делающего запрос.

По умолчанию сопоставленные значения выводятся как строки типа данных keyword. Для преобразования типа данных семантики добавьте целевой тип данных. Например, %{NUMBER:num:int}, что преобразует семантику num из строки в целое число. В настоящее время поддерживаются только преобразования int и float. Для других типов используйте функции преобразования типов.

Для обзора доступных шаблонов обратитесь к GitHub. Также можно получить список всех шаблонов с помощью REST API.

Grok основан на регулярных выражениях. Любые регулярные выражения также допустимы в grok. Grok использует библиотеку регулярных выражений Oniguruma. Обратитесь к репозиторию Oniguruma GitHub для полного синтаксиса поддерживаемых регулярных выражений.

Если в grok нет нужного шаблона, вы можете использовать синтаксис Oniguruma для именованного захвата, который позволяет сопоставить фрагмент текста и сохранить его в качестве столбца:

(?<field_name>the pattern here)

Например, журналы postfix содержат queue id, являющийся 10- или 11-символьным шестнадцатеричным значением. Это можно захватить в столбец под названием queue_id с помощью:

(?<queue_id>[0-9A-F]{10,11})

В следующем примере анализируется строка, содержащая метку времени, IP-адрес, адрес электронной почты и число:

ROW a = "2023-01-23T12:15:00.000Z 127.0.0.1 some.email@foo.com 42"
| GROK a """%{TIMESTAMP_ISO8601:date} %{IP:ip} %{EMAILADDRESS:email} %{NUMBER:num}"""
| KEEP date, ip, email, num

По умолчанию GROK выводит столбцы типа keyword. Типы int и float могут быть преобразованы путём добавления :type к семантике в шаблоне. Например, {NUMBER:num:int}:

ROW a = "2023-01-23T12:15:00.000Z 127.0.0.1 some.email@foo.com 42"
| GROK a """%{TIMESTAMP_ISO8601:date} %{IP:ip} %{EMAILADDRESS:email} %{NUMBER:num:int}"""
| KEEP date, ip, email, num

Для других преобразований типов используйте функции преобразования типов:

ROW a = "2023-01-23T12:15:00.000Z 127.0.0.1 some.email@foo.com 42"
| GROK a """%{TIMESTAMP_ISO8601:date} %{IP:ip} %{EMAILADDRESS:email} %{NUMBER:num:int}"""
| KEEP date, ip, email, num
| EVAL date = TO_DATETIME(date)

Если имя поля используется более одного раза, GROK создаёт многозначный столбец:

FROM addresses
| KEEP city.name, zip_code
| GROK zip_code """%{WORD:zip_parts} %{WORD:zip_parts}"""

Для написания и отладки шаблонов grok вы можете использовать Отладчик Grok. Он предоставляет интерфейс для тестирования шаблонов на примерах данных. Под капотом он использует тот же движок, что и команда GROK.

Команда GROK не поддерживает настройку пользовательских шаблонов или нескольких шаблонов. Команда GROK не подчиняется настройкам оповещения Grok.