Обзор анализа текста

Анализ текста позволяет Elasticsearch выполнять полнотекстовый поиск, где результаты поиска возвращают все релевантные результаты, а не только точные совпадения.

Если вы ищете Quick fox jumps, вы, вероятно, хотите документ, который содержит A quick brown fox jumps over the lazy dog, и вы также можете захотеть документы, содержащие родственные слова, такие как fast fox или foxes leap.

Анализ делает полнотекстовый поиск возможным благодаря токенизации: разделению текста на более мелкие части, называемые токенами. В большинстве случаев эти токены являются отдельными словами.

Если вы индексируете фразу the quick brown fox jumps как одну строку, а пользователь ищет quick fox, это не считается совпадением. Однако если вы токенизируете фразу и индексируете каждое слово отдельно, термины в строке запроса можно искать индивидуально. Это означает, что они могут быть сопоставлены с поисками quick fox, fox brown или другими вариациями.

Токенизация позволяет соответствовать отдельным терминам, но каждый токен по-прежнему сопоставляется буквально. Это означает:

Для решения этих проблем анализ текста может нормализовать эти токены в стандартном формате. Это позволяет сопоставлять токены, которые не являются точным совпадением с поисковыми терминами, но достаточно похожи, чтобы быть релевантными. Например:

Чтобы убедиться, что поисковые термины соответствуют этим словам должным образом, вы можете применить те же правила токенизации и нормализации к строке запроса. Например, поиск Foxes leap может быть нормализован в поиск fox jump.

Анализ текста выполняется анализатором, набором правил, которые управляют всем процессом.

Elasticsearch включает в себя стандартный анализатор, который хорошо подходит для большинства случаев использования.

Если вы хотите настроить свой опыт поиска, вы можете выбрать другой встроенный анализатор или даже настроить пользовательский. Пользовательский анализатор даёт вам контроль над каждым этапом процесса анализа, включая: