Токенизатор Edge n-gram

Токенизатор edge_ngram сначала разбивает текст на слова, когда встречается один из указанных символов, затем он генерирует n-граммы каждого слова, где начало n-граммы привязано к началу слова.

Границы n-грамм полезны для запросов поиск по мере ввода.

С настройками по умолчанию, токенизатор edge_ngram обрабатывает исходный текст как единый токен и генерирует n-граммы с минимальной длиной 1 и максимальной длиной 2:

POST _analyze
{
  "tokenizer": "edge_ngram",
  "text": "Quick Fox"
}

Вышеприведенное предложение будет генерировать следующие термины:

[ Q, Qu ]

Токенизатор edge_ngram принимает следующие параметры:

Значение параметра max_gram токенизатора edge_ngram ограничивает длину символов токенов. При использовании токенизатора edge_ngram с анализатором индекса это означает, что поисковые термины, превышающие длину max_gram, могут не совпадать ни с одним индексированным термином.

Например, если значение max_gram равно 3, поиски apple не будут совпадать с индексированным термином app.

Чтобы учесть это, вы можете использовать токен-фильтр truncate с поисковым анализатором для укорочения поисковых терминов до длины max_gram символов. Однако это может привести к возврату нерелевантных результатов.

Например, если значение max_gram равно 3, и поисковые термины обрезаются до трех символов, то поисковый термин apple укорачивается до app. Это означает, что поиски apple возвращают любые индексированные термины, соответствующие app, такие как apply, approximate и apple.

Мы рекомендуем протестировать оба подхода, чтобы увидеть, какой из них лучше подходит для вашего случая использования и желаемого опыта поиска.

В этом примере мы настраиваем токенизатор edge_ngram для обработки букв и цифр как токенов и для генерации n-грамм с минимальной длиной 2 и максимальной длиной 10:

PUT my-index-00001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}

POST my-index-00001/_analyze
{
  "analyzer": "my_analyzer",
  "text": "2 Quick Foxes."
}

Вышеприведенный пример генерирует следующие термины:

[ Qu, Qui, Quic, Quick, Fo, Fox, Foxe, Foxes ]

Обычно мы рекомендуем использовать тот же самый analyzer при индексировании и поиске. В случае токенизатора edge_ngram совет отличается. Имеет смысл использовать токенизатор edge_ngram только во время индексирования, чтобы гарантировать, что части слов доступны для сопоставления в индексе. При поиске просто ищите введенные пользователем термины, например: Quick Fo.

Ниже приведен пример того, как настроить поле для поиска по мере ввода.

Обратите внимание, что значение max_gram для анализатора индекса равно 10, что ограничивает индексированные термины 10 символами. Поисковые термины не обрезаются, что означает, что поисковые термины, превышающие 10 символов, могут не совпадать ни с одним индексированным термином.

PUT my-index-00001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "autocomplete": {
          "tokenizer": "autocomplete",
          "filter": [
            "lowercase"
          ]
        },
        "autocomplete_search": {
          "tokenizer": "lowercase"
        }
      },
      "tokenizer": {
        "autocomplete": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "autocomplete",
        "search_analyzer": "autocomplete_search"
      }
    }
  }
}

PUT my-index-00001/_doc/1
{
  "title": "Quick Foxes" 
}

POST my-index-00001/_refresh

GET my-index-00001/_search
{
  "query": {
    "match": {
      "title": {
        "query": "Quick Fo", 
        "operator": "and"
      }
    }
  }
}