Фильтр токенов разбиения по декомпонентам с использованием дефисов

Следующий запрос API анализа использует фильтр hyphenation_decompounder, чтобы найти подслова в Kaffeetasse на основе немецких шаблонов деления по дефисам в файле analysis/hyphenation_patterns.xml. Затем фильтр проверяет эти подслова по списку заданных слов: kaffee, zucker и tasse.

resp = client.indices.analyze(
    tokenizer="standard",
    filter=[
        {
            "type": "hyphenation_decompounder",
            "hyphenation_patterns_path": "analysis/hyphenation_patterns.xml",
            "word_list": [
                "Kaffee",
                "zucker",
                "tasse"
            ]
        }
    ],
    text="Kaffeetasse",
)
print(resp)

const response = await client.indices.analyze({
  tokenizer: "standard",
  filter: [
    {
      type: "hyphenation_decompounder",
      hyphenation_patterns_path: "analysis/hyphenation_patterns.xml",
      word_list: ["Kaffee", "zucker", "tasse"],
    },
  ],
  text: "Kaffeetasse",
});
console.log(response);

GET _analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "hyphenation_decompounder",
      "hyphenation_patterns_path": "analysis/hyphenation_patterns.xml",
      "word_list": ["Kaffee", "zucker", "tasse"]
    }
  ],
  "text": "Kaffeetasse"
}

Фильтр генерирует следующие токены:

[ Kaffeetasse, Kaffee, tasse ]

Обычно пользователям достаточно включить только один из трёх флагов, так как включение no_overlapping_matches является наиболее жёстким, а no_sub_matches более жёстким, чем only_longest_match. При включении более жёсткого варианта состояние менее жёсткого не имеет никакого эффекта.

Чтобы настроить фильтр hyphenation_decompounder, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос API создания индекса использует пользовательский фильтр hyphenation_decompounder для настройки нового пользовательского анализатора.

Пользовательский фильтр hyphenation_decompounder находит подслова на основе шаблонов деления по дефисам в файле analysis/hyphenation_patterns.xml. Затем фильтр проверяет эти подслова по списку слов, указанному в файле analysis/example_word_list.txt. Подслова длиной более 22 символов исключаются из выходного потока токенов.

resp = client.indices.create(
    index="hyphenation_decompound_example",
    settings={
        "analysis": {
            "analyzer": {
                "standard_hyphenation_decompound": {
                    "tokenizer": "standard",
                    "filter": [
                        "22_char_hyphenation_decompound"
                    ]
                }
            },
            "filter": {
                "22_char_hyphenation_decompound": {
                    "type": "hyphenation_decompounder",
                    "word_list_path": "analysis/example_word_list.txt",
                    "hyphenation_patterns_path": "analysis/hyphenation_patterns.xml",
                    "max_subword_size": 22
                }
            }
        }
    },
)
print(resp)

const response = await client.indices.create({
  index: "hyphenation_decompound_example",
  settings: {
    analysis: {
      analyzer: {
        standard_hyphenation_decompound: {
          tokenizer: "standard",
          filter: ["22_char_hyphenation_decompound"],
        },
      },
      filter: {
        "22_char_hyphenation_decompound": {
          type: "hyphenation_decompounder",
          word_list_path: "analysis/example_word_list.txt",
          hyphenation_patterns_path: "analysis/hyphenation_patterns.xml",
          max_subword_size: 22,
        },
      },
    },
  },
});
console.log(response);

PUT hyphenation_decompound_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_hyphenation_decompound": {
          "tokenizer": "standard",
          "filter": [ "22_char_hyphenation_decompound" ]
        }
      },
      "filter": {
        "22_char_hyphenation_decompound": {
          "type": "hyphenation_decompounder",
          "word_list_path": "analysis/example_word_list.txt",
          "hyphenation_patterns_path": "analysis/hyphenation_patterns.xml",
          "max_subword_size": 22
        }
      }
    }
  }
}