› › ›

Фильтр токенов ASCII folding

Преобразует буквенные, числовые и символьные знаки, которые не находятся в блоке Basic Latin Unicode (первые 127 ASCII символов), в их ASCII эквиваленты, если таковые существуют. Например, фильтр преобразует à в a.

Этот фильтр использует ASCIIFoldingFilter из Lucene.

Пример

Следующий запрос API анализа использует фильтр asciifolding, чтобы убрать диакритические знаки в açaí à la carte:

GET /_analyze
{
  "tokenizer" : "standard",
  "filter" : ["asciifolding"],
  "text" : "açaí à la carte"
}

Фильтр производит следующие токены:

[ acai, a, la, carte ]

Добавление в анализатор

Следующий запрос API создания индекса использует фильтр asciifolding для настройки нового настраиваемого анализатора.

PUT /asciifold_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_asciifolding": {
          "tokenizer": "standard",
          "filter": [ "asciifolding" ]
        }
      }
    }
  }
}

Настраиваемые параметры

preserve_original: (Необязательно, Булево) Если true, выводить как исходные токены, так и преобразованные. По умолчанию false.

Настройка

Для настройки фильтра asciifolding, продублируйте его, чтобы создать основу для нового настраиваемого фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос создаёт настраиваемый фильтр asciifolding с параметром preserve_original установленным в значение true:

PUT /asciifold_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_asciifolding": {
          "tokenizer": "standard",
          "filter": [ "my_ascii_folding" ]
        }
      },
      "filter": {
        "my_ascii_folding": {
          "type": "asciifolding",
          "preserve_original": true
        }
      }
    }
  }
}

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-asciifolding-tokenfilter.html