Использование ES|QL для запроса к нескольким индексам

С помощью ES|QL можно выполнить один запрос по нескольким индексам, потокам данных или псевдонимам. Для этого используйте подстановочные знаки и арифметику дат. В следующем примере используется список, разделенный запятыми, и подстановочный знак:

FROM employees-00001,other-employees-*

Используйте формат <remote_cluster_name>:<target>, чтобы запрашивать потоки данных и индексы в удалённых кластерах:

FROM cluster_one:employees-00001,cluster_two:other-employees-*

При запросе к нескольким индексам, потокам данных или псевдонимам вы можете обнаружить, что одно и то же поле сопоставлено с несколькими различными типами. Например, рассмотрим два индекса с такими отображениями полей:

индекс: events_ip

{
  "mappings": {
    "properties": {
      "@timestamp":     { "type": "date" },
      "client_ip":      { "type": "ip" },
      "event_duration": { "type": "long" },
      "message":        { "type": "keyword" }
    }
  }
}

индекс: events_keyword

{
  "mappings": {
    "properties": {
      "@timestamp":     { "type": "date" },
      "client_ip":      { "type": "keyword" },
      "event_duration": { "type": "long" },
      "message":        { "type": "keyword" }
    }
  }
}

Когда вы запрашиваете каждый из них индивидуально с простым запросом, таким как FROM events_ip, результаты предоставляются со столбцами, специфичными для типов:

FROM events_ip
| SORT @timestamp DESC

Обратите внимание, как столбец client_ip правильно идентифицируется как тип ip, и все значения отображаются. Однако, если запрос вместо этого получает данные из двух конфликтующих индексов с FROM events_*, тип столбца client_ip нельзя определить, и он отображается как unsupported, а все значения возвращаются как null.

FROM events_*
| SORT @timestamp DESC

Кроме того, если запрос напрямую ссылается на это поле, не поддерживаемое запросом, запрос терпит неудачу:

FROM events_*
| SORT client_ip DESC

Cannot use field [client_ip] due to ambiguities being mapped as
[2] incompatible types:
    [ip] in [events_ip],
    [keyword] in [events_keyword]

ES|QL имеет способ обработки несовпадений типов полей. Когда одно и то же поле сопоставлено с несколькими типами в нескольких индексах, тип поля понимается как объединение различных типов в отображениях индексов. Как видно из предыдущих примеров, этот тип объединения не может использоваться в результатах и не может быть использован в запросе — за исключением KEEP, DROP или при передаче его в функцию преобразования типов, которая принимает все типы в объединении и преобразует поле в один тип. ES|QL предлагает набор функций преобразования типов для достижения этого.

В приведенных выше примерах запрос может использовать команду, такую как EVAL client_ip = TO_IP(client_ip), чтобы разрешить объединение ip и keyword до просто ip. Вы также можете использовать синтаксис преобразования типов EVAL client_ip = client_ip::IP. В качестве альтернативы, запрос может использовать TO_STRING для преобразования всех поддерживаемых типов в KEYWORD.

Например, запрос запрос, который возвращал client_ip:unsupported со значениями null, может быть улучшен с помощью функции TO_IP или эквивалентного синтаксиса field::ip. Эти изменения также устраняют сообщение об ошибке. До тех пор, пока единственная ссылка на исходное поле заключается в передаче его в функцию преобразования, которая устраняет неоднозначность типов, никаких ошибок не возникает.

FROM events_*
| EVAL client_ip = TO_IP(client_ip)
| KEEP @timestamp, client_ip, event_duration, message
| SORT @timestamp DESC

Полезно знать конкретный индекс, из которого получена каждая строка. Для получения этой информации используйте параметр METADATA в команде FROM.

FROM events_* METADATA _index
| EVAL client_ip = TO_IP(client_ip)
| KEEP _index, @timestamp, client_ip, event_duration, message
| SORT @timestamp DESC