Токенайзер Keyword

Токенайзер keyword — это токенайзер «бездействия», который принимает любой текст и выводит тот же текст как один термин. Его можно комбинировать с фильтрами токенов для нормализации вывода, например, для приведения адресов электронной почты к нижнему регистру.

POST _analyze
{
  "tokenizer": "keyword",
  "text": "New York"
}

Вышеупомянутое предложение будет иметь следующий термин:

[ New York ]

Вы можете объединить токенайзер keyword с фильтрами токенов для нормализации структурированных данных, таких как идентификаторы продуктов или адреса электронной почты.

Например, следующий запрос API анализа использует токенайзер keyword и lowercase фильтр, чтобы преобразовать адрес электронной почты в нижний регистр.

POST _analyze
{
  "tokenizer": "keyword",
  "filter": [ "lowercase" ],
  "text": "john.SMITH@example.COM"
}

Запрос производит следующий токен:

[ john.smith@example.com ]

Токенайзер keyword принимает следующие параметры: