Фильтр токенов Flatten graph

Чтобы увидеть, как работает фильтр flatten_graph, необходимо сначала создать график токенов, содержащий токены с несколькими позициями.

Следующий запрос API анализа использует фильтр synonym_graph, чтобы добавить internet phonebook как синоним с несколькими позициями для domain name system в тексте domain name system is fragile:

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "synonym_graph",
      "synonyms": [ "internet phonebook, domain name system" ]
    }
  ],
  "text": "domain name system is fragile"
}

Фильтр создаёт следующий график токенов с internet phonebook в качестве токена с несколькими позициями.

Индексирование не поддерживает графики токенов, содержащие токены с несколькими позициями. Чтобы сделать этот график токенов подходящим для индексирования, его необходимо сгладить.

Чтобы сгладить график токенов, добавьте фильтр flatten_graph после фильтра synonym_graph в предыдущем запросе к API анализа.

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "synonym_graph",
      "synonyms": [ "internet phonebook, domain name system" ]
    },
    "flatten_graph"
  ],
  "text": "domain name system is fragile"
}

Фильтр производит следующий сглаженный график токенов, подходящий для индексирования.

Следующий запрос API создания индекса использует фильтр токенов flatten_graph для настройки нового пользовательского анализатора.

В этом анализаторе пользовательский фильтр word_delimiter_graph создаёт графики токенов, содержащие соединённые токены с несколькими позициями. Фильтр flatten_graph сглаживает эти графики токенов, делая их пригодными для индексирования.

resp = client.indices.create(
    index="my-index-000001",
    settings={
        "analysis": {
            "analyzer": {
                "my_custom_index_analyzer": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "my_custom_word_delimiter_graph_filter",
                        "flatten_graph"
                    ]
                }
            },
            "filter": {
                "my_custom_word_delimiter_graph_filter": {
                    "type": "word_delimiter_graph",
                    "catenate_all": True
                }
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'my-index-000001',
  body: {
    settings: {
      analysis: {
        analyzer: {
          my_custom_index_analyzer: {
            type: 'custom',
            tokenizer: 'standard',
            filter: [
              'my_custom_word_delimiter_graph_filter',
              'flatten_graph'
            ]
          }
        },
        filter: {
          my_custom_word_delimiter_graph_filter: {
            type: 'word_delimiter_graph',
            catenate_all: true
          }
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
    analysis: {
      analyzer: {
        my_custom_index_analyzer: {
          type: "custom",
          tokenizer: "standard",
          filter: ["my_custom_word_delimiter_graph_filter", "flatten_graph"],
        },
      },
      filter: {
        my_custom_word_delimiter_graph_filter: {
          type: "word_delimiter_graph",
          catenate_all: true,
        },
      },
    },
  },
});
console.log(response);

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_index_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "my_custom_word_delimiter_graph_filter",
            "flatten_graph"
          ]
        }
      },
      "filter": {
        "my_custom_word_delimiter_graph_filter": {
          "type": "word_delimiter_graph",
          "catenate_all": true
        }
      }
    }
  }
}