Фильтр токенов Flatten graph

Чтобы увидеть, как работает фильтр flatten_graph, вам сначала нужно создать граф токенов, содержащий токены с несколькими позициями.

Следующий запрос API анализа использует фильтр synonym_graph для добавления dns как синонима с несколькими позициями для domain name system в тексте domain name system is fragile:

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "synonym_graph",
      "synonyms": [ "dns, domain name system" ]
    }
  ],
  "text": "domain name system is fragile"
}

Фильтр создает следующий граф токенов с dns как токеном с несколькими позициями.

Индексирование не поддерживает графи токенов, содержащие токены с несколькими позициями. Чтобы сделать этот граф токенов подходящим для индексирования, необходимо его сгладить.

Для сглаживания графа токенов добавьте фильтр flatten_graph после фильтра synonym_graph в предыдущем запросе API анализа.

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "synonym_graph",
      "synonyms": [ "dns, domain name system" ]
    },
    "flatten_graph"
  ],
  "text": "domain name system is fragile"
}

Фильтр создает следующий сглаженный граф токенов, подходящий для индексирования.

Следующий запрос API создания индекса использует фильтр токенов flatten_graph для настройки нового пользовательского анализатора.

В этом анализаторе пользовательский фильтр word_delimiter_graph создаёт графи токенов, содержащих склеенные токены с несколькими позициями. Фильтр flatten_graph сглаживает эти графи токенов, делая их пригодными для индексирования.

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_index_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "my_custom_word_delimiter_graph_filter",
            "flatten_graph"
          ]
        }
      },
      "filter": {
        "my_custom_word_delimiter_graph_filter": {
          "type": "word_delimiter_graph",
          "catenate_all": true
        }
      }
    }
  }
}