Токенайзер Keyword

Токенайзер keyword — это токенайзер «бездействия», который принимает любой предоставленный текст и выводит тот же самый текст как единственный термин. Его можно комбинировать с фильтрами токенов для нормализации вывода, например, для приведения адресов электронной почты к нижнему регистру.

resp = client.indices.analyze(
    tokenizer="keyword",
    text="New York",
)
print(resp)

response = client.indices.analyze(
  body: {
    tokenizer: 'keyword',
    text: 'New York'
  }
)
puts response

const response = await client.indices.analyze({
  tokenizer: "keyword",
  text: "New York",
});
console.log(response);

POST _analyze
{
  "tokenizer": "keyword",
  "text": "New York"
}

Вышеприведённое предложение должно привести к следующему термину:

[ New York ]

Вы можете комбинировать токенайзер keyword с фильтрами токенов для нормализации структурированных данных, таких как идентификаторы продуктов или адреса электронной почты.

Например, следующий запрос API анализа использует токенайзер keyword и фильтр lowercase для преобразования адреса электронной почты в нижний регистр.

resp = client.indices.analyze(
    tokenizer="keyword",
    filter=[
        "lowercase"
    ],
    text="john.SMITH@example.COM",
)
print(resp)

response = client.indices.analyze(
  body: {
    tokenizer: 'keyword',
    filter: [
      'lowercase'
    ],
    text: 'john.SMITH@example.COM'
  }
)
puts response

const response = await client.indices.analyze({
  tokenizer: "keyword",
  filter: ["lowercase"],
  text: "john.SMITH@example.COM",
});
console.log(response);

POST _analyze
{
  "tokenizer": "keyword",
  "filter": [ "lowercase" ],
  "text": "john.SMITH@example.COM"
}

Запрос генерирует следующий токен:

[ john.smith@example.com ]

Токенайзер keyword принимает следующие параметры: