Токенизатор UAX URL email
Токенизатор uax_url_email похож на токенизатор standard, за исключением того, что он распознаёт URL-адреса и адреса электронной почты как отдельные токены.
Пример вывода
POST _analyze
{
"tokenizer": "uax_url_email",
"text": "Email me at john.smith@global-international.com"
} В предложении выше будут получены следующие термины:
[ Email, me, at, john.smith@global-international.com ]
в то время как токенизатор standard создаст:
[ Email, me, at, john.smith, global, international.com ]
Настройка
Токенизатор uax_url_email принимает следующие параметры:
| | Максимальная длина токена. Если токен превышает эту длину, он разбивается на |
Пример настройки
В данном примере мы настраиваем токенизатор uax_url_email с max_token_length 5 (для демонстрационных целей):
PUT my-index-000001
{
"settings": {
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "uax_url_email",
"max_token_length": 5
}
}
}
}
}
POST my-index-000001/_analyze
{
"analyzer": "my_analyzer",
"text": "john.smith@global-international.com"
} В результате выполнения этого примера получаем следующие термины:
[ john, smith, globa, l, inter, natio, nal.c, om ]
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-uaxurlemail-tokenizer.html
