Фильтр токенов синонимической графы

Фильтр токенов synonym_graph позволяет легко обрабатывать синонимы, включая многословные синонимы правильно во время процесса анализа.

Для правильной обработки многословных синонимов этот фильтр токенов создаёт потоки токенов графов во время обработки. Для получения дополнительной информации по этой теме и её различным сложностям, пожалуйста, прочтите статью в блоге Lucene’s TokenStreams are actually graphs.

Синонимы в наборе синонимов определяются с помощью правил синонимов. Каждое правило синонимов содержит слова, являющиеся синонимами.

Вы можете использовать два формата для определения правил синонимов: Solr и WordNet.

Этот формат использует два различных определения:

WordNet определяет наборы синонимов, занимающих несколько строк. Каждая строка содержит следующую информацию:

Следующий пример определяет набор синонимов для слов "come", "advance" и "approach":

s(100000002,1,'come',v,1,0).
s(100000002,2,'advance',v,1,0).
s(100000002,3,'approach',v,1,0).""";

Синонимы можно настроить с помощью API синонимов, файла синонимов или непосредственно встроенных в конфигурацию фильтра токенов. Подробнее о каждом варианте см. в разделе сохранение набора синонимов.

Используйте synonyms_set параметр конфигурации для предоставления набора синонимов, созданного с помощью API управления синонимами:

  "filter": {
    "synonyms_filter": {
      "type": "synonym_graph",
      "synonyms_set": "my-synonym-set",
      "updateable": true
    }
  }

Используйте synonyms_path для предоставления файла синонимов:

  "filter": {
    "synonyms_filter": {
      "type": "synonym_graph",
      "synonyms_path": "analysis/synonym-set.txt"
    }
  }

Выше указан конфигурация фильтра synonym с путём analysis/synonym-set.txt (относительно расположения config).

Используйте synonyms для определения встроенных синонимов:

  "filter": {
    "synonyms_filter": {
      "type": "synonym_graph",
      "synonyms": ["pc => personal computer", "computer, pc, laptop"]
    }
  }

Дополнительные настройки:

Параметр expand управляет тем, следует ли расширять эквивалентные правила синонимов. Рассмотрим синоним, определённый как:

foo, bar, baz

Используя expand: true, правило синонима будет расширено до:

foo => foo
foo => bar
foo => baz
bar => foo
bar => bar
bar => baz
baz => foo
baz => bar
baz => baz

Когда expand установлено в значение false, правило синонима не расширяется, и первый синоним рассматривается как каноническое представление. Синоним будет эквивалентен:

foo => foo
bar => foo
baz => foo

Параметр expand не влияет на явные правила синонимов, такие как foo, bar => baz.

Параметр tokenizer управляет токенизаторами, которые будут использоваться для токенизации синонима. Этот параметр предназначен для обратной совместимости с индексами, созданными до версии 6.0. Параметр ignore_case работает только с параметром tokenizer.

Для применения синонимов необходимо добавить фильтр токенов синонимов в анализатор:

      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["stemmer", "synonym_graph"]
        }
      }

Порядок фильтров токенов важен. Текст будет обрабатываться сначала через фильтры, предшествующие фильтру синонимов, перед обработкой фильтром синонимов.

Elasticsearch также будет использовать фильтры токенов, предшествующие фильтру синонимов, в цепочке токенизатора для обработки записей в файле или наборе синонимов. В приведенном выше примере фильтр токенов графа синонимов расположен после стемера. Стеммер также будет применяться к записям синонимов.

Поскольку записи в карте синонимов не могут иметь накопленные позиции, некоторые фильтры токенов могут вызывать проблемы. Фильтры токенов, которые производят несколько версий токена, могут выбирать, какую версию токена вывести при разборе синонимов. Например, asciifolding будет производить только свёрнутую версию токена. Другие, такие как multiplexer, word_delimiter_graph или ngram, приведут к ошибке.

Если вам нужно создать анализаторы, которые включают в себя как фильтры многотокенов, так и фильтры синонимов, рассмотрите использование фильтра Multiplexer, с фильтрами многотокенов в одной ветке и фильтром синонимов в другой.

Синонимы и фильтры стоп-токенов взаимодействуют друг с другом следующим образом:

Стоп-слова будут удалены из определения правила синонима. Это может привести к ошибкам в правиле синонима.

Для явных правил синонимов, таких как foo, bar => baz с фильтром стоп-слов, который удаляет bar:

Если фильтр стоп-слов удалил baz вместо этого:

Для эквивалентных правил синонимов, таких как foo, bar, baz и expand: true, with a stop filter that removes `bar:

foo => foo
foo => baz
baz => foo
baz => baz

Фильтр стоп-слов удалит термины из результирующего расширения синонима.

Например, правило синонимов, подобное foo, bar => baz, и стоп-фильтр, удаляющий baz, не даст совпадений для foo или bar, так как оба будут расширены до baz, которое удаляется стоп-фильтром.

Если стоп-фильтр удалял foo вместо этого, то поиск foo был бы расширен до baz, которое не удаляется стоп-фильтром, что потенциально может обеспечить совпадения для baz.