Токенайзер n-грамм

Токенайзер ngram сначала разбивает текст на слова всякий раз, когда встречает один из заданных символов, а затем генерирует n-граммы заданной длины для каждого слова.

N-граммы похожи на скользящее окно, которое перемещается по слову — это непрерывная последовательность символов заданной длины. Они полезны для запросов к языкам, в которых не используются пробелы или которые имеют длинные составные слова, например, немецкий.

При стандартных настройках токенайзер ngram обрабатывает исходный текст как один токен и генерирует n-граммы с минимальной длиной 1 и максимальной длиной 2:

POST _analyze
{
  "tokenizer": "ngram",
  "text": "Quick Fox"
}

Для приведенного выше предложения будут сгенерированы следующие термины:

[ Q, Qu, u, ui, i, ic, c, ck, k, "k ", " ", " F", F, Fo, o, ox, x ]

Токенайзер ngram принимает следующие параметры:

Настройка уровня индекса index.max_ngram_diff контролирует максимальное допустимое различие между max_gram и min_gram.

В этом примере мы настраиваем токенайзер ngram для обработки букв и цифр как токенов и для генерации триграмм (граммы длины 3):

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 3,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}

POST my-index-000001/_analyze
{
  "analyzer": "my_analyzer",
  "text": "2 Quick Foxes."
}

Приведенный выше пример генерирует следующие термины:

[ Qui, uic, ick, Fox, oxe, xes ]