Фильтр токенов Dictionary decompounder

Следующий запрос API анализа анализа использует фильтр dictionary_decompounder для поиска подслов в Donaudampfschiff. Затем фильтр проверяет эти подслова на соответствие указанному списку слов: Donau, dampf, meer и schiff.

GET _analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "dictionary_decompounder",
      "word_list": ["Donau", "dampf", "meer", "schiff"]
    }
  ],
  "text": "Donaudampfschiff"
}

Фильтр генерирует следующие токены:

[ Donaudampfschiff, Donau, dampf, schiff ]

Для настройки фильтра dictionary_decompounder создайте его копию, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос API создания индекса создания индекса использует настраиваемый фильтр dictionary_decompounder для настройки нового пользовательского анализатора.

Настраиваемый фильтр dictionary_decompounder находит подслова в файле analysis/example_word_list.txt. Подслова, длина которых превышает 22 символа, исключаются из выходного потока токенов.

PUT dictionary_decompound_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_dictionary_decompound": {
          "tokenizer": "standard",
          "filter": [ "22_char_dictionary_decompound" ]
        }
      },
      "filter": {
        "22_char_dictionary_decompound": {
          "type": "dictionary_decompounder",
          "word_list_path": "analysis/example_word_list.txt",
          "max_subword_size": 22
        }
      }
    }
  }
}