› › ›

Токенизатор Classic

Токенизатор classic — это токенизатор, основанный на грамматике, хорошо подходящий для документов на английском языке. Этот токенизатор использует эвристические правила для специальной обработки аббревиатур, названий компаний, адресов электронной почты и имён хостов в интернете. Однако эти правила не всегда работают, и токенизатор не подходит для большинства языков, кроме английского:

Он разделяет слова на большинстве знаков препинания, удаляя знаки препинания. Однако точка, за которой нет пробела, считается частью токена.
Он разделяет слова на дефисы, если в токен не входит число, в противном случае весь токен интерпретируется как номер товара и не разделяется.
Он распознаёт адреса электронной почты и имена хостов в интернете как один токен.

Пример вывода

POST _analyze
{
  "tokenizer": "classic",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

Предложение выше даст следующие термины:

[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]

Настройка

Токенизатор classic принимает следующие параметры:

max_token_length

Максимальная длина токена. Если встречается токен, длина которого превышает эту длину, то он разделяется через интервалы max_token_length. По умолчанию значение равно 255.

Пример конфигурации

В этом примере мы настраиваем токенизатор classic с максимальной длиной токена в 5 (для демонстрационных целей):

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "classic",
          "max_token_length": 5
        }
      }
    }
  }
}

POST my-index-000001/_analyze
{
  "analyzer": "my_analyzer",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

Вышеупомянутый пример генерирует следующие термины:

[ The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone ]

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-classic-tokenizer.html