› › ›

Фильтр токенов CJK bigram

Образует биграммы из токенов CJK (китайский, японский и корейский).

Этот фильтр включён в встроенный анализатор языка CJK Elasticsearch. Он использует CJKBigramFilter Lucene.

Пример

Следующий запрос API анализа демонстрирует работу фильтра токенов CJK bigram.

GET /_analyze
{
  "tokenizer" : "standard",
  "filter" : ["cjk_bigram"],
  "text" : "東京都は、日本の首都であり"
}

Фильтр производит следующие токены:

[ 東京, 京都, 都は, 日本, 本の, の首, 首都, 都で, であ, あり ]

Добавление в анализатор

Следующий запрос API создания индекса использует фильтр токенов CJK bigram для настройки нового настраиваемого анализатора.

PUT /cjk_bigram_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_cjk_bigram": {
          "tokenizer": "standard",
          "filter": [ "cjk_bigram" ]
        }
      }
    }
  }
}

Настраиваемые параметры

ignored_scripts

(Необязательный, массив скриптов символов) Массив скриптов символов, для которых следует отключить биграммы. Возможные значения:

han
hangul
hiragana
katakana

Все входные данные, не относящиеся к CJK, передаются без изменений.

output_unigrams

(Необязательный, булево) Если true, генерировать токены в форме биграммы и униграммы. Если false, символ CJK выводится в виде униграммы, если у него нет соседних символов. По умолчанию false.

Настройка

Чтобы настроить фильтр токенов CJK bigram, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

PUT /cjk_bigram_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "han_bigrams": {
          "tokenizer": "standard",
          "filter": [ "han_bigrams_filter" ]
        }
      },
      "filter": {
        "han_bigrams_filter": {
          "type": "cjk_bigram",
          "ignored_scripts": [
            "hangul",
            "hiragana",
            "katakana"
          ],
          "output_unigrams": true
        }
      }
    }
  }
}

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-cjk-bigram-tokenfilter.html