Фильтр токенов n-грамм

Следующий запрос API анализа использует фильтр ngram для преобразования Quick fox в n-граммы длиной 1 и 2 символа:

GET _analyze
{
  "tokenizer": "standard",
  "filter": [ "ngram" ],
  "text": "Quick fox"
}

Фильтр генерирует следующие токены:

[ Q, Qu, u, ui, i, ic, c, ck, k, f, fo, o, ox, x ]

Следующий запрос API создания индекса использует фильтр ngram для настройки нового пользовательского анализатора.

PUT ngram_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_ngram": {
          "tokenizer": "standard",
          "filter": [ "ngram" ]
        }
      }
    }
  }
}

Вы можете использовать настройку уровня индекса index.max_ngram_diff для управления максимальным разрешенным различием между значениями max_gram и min_gram.

Для настройки фильтра ngram дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос создает пользовательский фильтр ngram, который формирует n-граммы длиной от 3 до 5 символов. Запрос также увеличивает значение index.max_ngram_diff до 2.

PUT ngram_custom_example
{
  "settings": {
    "index": {
      "max_ngram_diff": 2
    },
    "analysis": {
      "analyzer": {
        "default": {
          "tokenizer": "whitespace",
          "filter": [ "3_5_grams" ]
        }
      },
      "filter": {
        "3_5_grams": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 5
        }
      }
    }
  }
}