Обзор анализа текста

Анализ текста позволяет Elasticsearch выполнять полнотекстовый поиск, где результаты поиска возвращают все релевантные результаты, а не только точные совпадения.

Если вы ищете Quick fox jumps, вы, вероятно, хотите документ, который содержит A quick brown fox jumps over the lazy dog, и вам могут потребоваться также документы, содержащие связанные слова, такие как fast fox или foxes leap.

Анализ позволяет выполнить полнотекстовый поиск с помощью токенизации: разбиение текста на более мелкие части, называемые токенами. В большинстве случаев эти токены — отдельные слова.

Если вы индексируете фразу the quick brown fox jumps как одну строку, а пользователь ищет quick fox, это не будет считаться совпадением. Однако, если вы разделите фразу на токены и индексируете каждое слово по отдельности, термины в строке запроса могут быть проиндексированы индивидуально. Это означает, что они могут соответствовать поискам quick fox, fox brown или другим вариациям.

Токенизация позволяет выполнять поиск по отдельным терминам, но каждый токен по-прежнему сравнивается буквально. Это означает:

Для решения этих проблем анализ текста может нормализовать эти токены в стандартный формат. Это позволяет сопоставлять токены, которые не идентичны поисковым терминам, но достаточно похожи, чтобы оставаться релевантными. Например:

Для обеспечения соответствия поисковых терминов этим словам, как предполагается, вы можете применить те же правила токенизации и нормализации к строке запроса. Например, поиск Foxes leap может быть нормализован до поиска fox jump.

Анализ текста выполняется анализатором, набором правил, которые управляют всем процессом.

Elasticsearch включает в себя стандартный анализатор, называемый стандартным анализатором, который хорошо работает для большинства случаев прямо из коробки.

Если вы хотите настроить свой опыт поиска, вы можете выбрать другой встроенный анализатор или даже настроить пользовательский. Пользовательский анализатор предоставляет вам контроль над каждым этапом процесса анализа, включая: