Токенизатор Letter

Токенизатор letter разделяет текст на термины всякий раз, когда встречается символ, который не является буквой. Он неплохо справляется с большинством европейских языков, но плохо справляется с некоторыми азиатскими языками, где слова не разделяются пробелами.

resp = client.indices.analyze(
    tokenizer="letter",
    text="The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
)
print(resp)

response = client.indices.analyze(
  body: {
    tokenizer: 'letter',
    text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  }
)
puts response

const response = await client.indices.analyze({
  tokenizer: "letter",
  text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
});
console.log(response);

POST _analyze
{
  "tokenizer": "letter",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

Предложение выше дало бы следующие термины:

[ The, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, s, bone ]

Токенизатор letter не настраивается.