› › ›

Токенизатор Whitespace

Токенизатор whitespace разбивает текст на термины всякий раз, когда встречается пробельный символ.

Пример вывода

POST _analyze
{
  "tokenizer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

Предложение выше сгенерирует следующие термины:

[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]

Настройка

Токенизатор whitespace принимает следующие параметры:

max_token_length

Максимальная длина токена. Если обнаружен токен, превышающий эту длину, он разбивается через интервалы max_token_length. По умолчанию значение 255.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-whitespace-tokenizer.html