Стандартный токенизатор
Токенизатор standard обеспечивает токенизацию на основе грамматики (основанную на алгоритме сегментации текста Unicode, как указано в Приложении #29 к стандарту Unicode) и хорошо подходит для большинства языков.
Пример выходных данных
POST _analyze
{
"tokenizer": "standard",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
} Вышеупомянутое предложение произведет следующие термины:
[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]
Настройка
Токенизатор standard принимает следующие параметры:
| | Максимальная длина токена. Если обнаруживается токен, превышающий эту длину, он разбивается на интервалы |
Пример конфигурации
В этом примере мы настраиваем токенизатор standard с максимальной длиной токена max_token_length в 5 (для демонстрационных целей):
PUT my-index-000001
{
"settings": {
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "standard",
"max_token_length": 5
}
}
}
}
}
POST my-index-000001/_analyze
{
"analyzer": "my_analyzer",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
} Вышеуказанный пример генерирует следующие термины:
[ The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone ]
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-standard-tokenizer.html
