Фильтр токенов синонимов

Фильтр токенов synonym позволяет легко обрабатывать синонимы во время процесса анализа.

Синонимы в наборе синонимов определяются с помощью правил синонимов. Каждое правило синонимов содержит слова, являющиеся синонимами.

Вы можете использовать два формата для определения правил синонимов: Solr и WordNet.

Этот формат использует два разных определения:

WordNet определяет наборы синонимов, охватывающие несколько строк. Каждая строка содержит следующую информацию:

Следующий пример определяет набор синонимов для слов «come», «advance» и «approach»:

s(100000002,1,'come',v,1,0).
s(100000002,2,'advance',v,1,0).
s(100000002,3,'approach',v,1,0).""";

Синонимы можно настроить с помощью API синонимов, файла синонимов или непосредственно встроенных в конфигурацию фильтра токенов. Подробную информацию о каждом варианте см. в разделе сохранение набора синонимов.

Используйте synonyms_set параметр конфигурации для предоставления набора синонимов, созданного с помощью API управления синонимами:

  "filter": {
    "synonyms_filter": {
      "type": "synonym",
      "synonyms_set": "my-synonym-set",
      "updateable": true
    }
  }

Используйте synonyms_path для предоставления файла синонимов:

  "filter": {
    "synonyms_filter": {
      "type": "synonym",
      "synonyms_path": "analysis/synonym-set.txt"
    }
  }

Выше приведен конфигурируемый synonym фильтр с путем analysis/synonym-set.txt (относительно расположения config).

Используйте synonyms для определения встроенных синонимов:

  "filter": {
    "synonyms_filter": {
      "type": "synonym",
      "synonyms": ["pc => personal computer", "computer, pc, laptop"]
    }
  }

Дополнительные настройки:

Параметр expand управляет расширением эквивалентных правил синонимов. Рассмотрим синоним, определенный так:

foo, bar, baz

Используя expand: true, правило синонима будет расширено до:

foo => foo
foo => bar
foo => baz
bar => foo
bar => bar
bar => baz
baz => foo
baz => bar
baz => baz

Когда expand установлено в false, правило синонима не расширяется, и первый синоним рассматривается как каноническое представление. Синоним будет эквивалентен:

foo => foo
bar => foo
baz => foo

Параметр expand не влияет на явные правила синонимов, например, foo, bar => baz.

Параметр tokenizer управляет токенизаторами, которые будут использоваться для токенизации синонима, этот параметр предназначен для обратной совместимости для индексов, созданных до версии 6.0. Параметр ignore_case работает только с параметром tokenizer.

Для применения синонимов вам необходимо включить фильтры токенов синонимов в анализатор:

      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["stemmer", "synonym"]
        }
      }

Порядок фильтров токенов важен. Текст будет обработан сначала через фильтры, предшествующие фильтру синонимов, прежде чем быть обработанным фильтром синонимов.

Elasticsearch также будет использовать фильтры токенов, предшествующие фильтру синонимов, в цепочке токенизаторов для анализа записей в файле или наборе синонимов. В приведенном выше примере фильтр токенов синонимов помещен после стеммера. Стеммер также будет применяться к записям синонимов.

Поскольку записи в карте синонимов не могут иметь стеков позиций, некоторые фильтры токенов могут вызывать проблемы. Фильтры токенов, которые генерируют несколько версий токена, могут выбирать, какую версию токена выводить при парсинге синонимов. Например, asciifolding будет генерировать только свернутую версию токена. Другие, такие как multiplexer, word_delimiter_graph или ngram, будут генерировать ошибку.

Если вам необходимо создать анализаторы, включающие как фильтры многотокенов, так и фильтры синонимов, используйте фильтр мультиплексора, с фильтрами многотокенов в одной ветви и фильтром синонимов в другой.

Синонимы и фильтры стоп-токенов взаимодействуют друг с другом следующим образом:

Стоп-слова будут удалены из определения правила синонима. Это может вызвать ошибки в правиле синонима.

Для явных правил синонимов, таких как foo, bar => baz с фильтром стоп-слов, удаляющим bar:

Если фильтр стоп-слов удалил baz вместо этого:

Для эквивалентных правил синонимов, таких как foo, bar, baz и expand: true, with a stop filter that removes `bar:

foo => foo
foo => baz
baz => foo
baz => baz

Фильтр стоп-слов удалит термины из расширения синонимов.

Например, правило синонима, такое как foo, bar => baz, и фильтр стоп-слов, удаляющий baz, не найдет совпадений для foo или bar, так как оба будут расширены до baz, который удаляется фильтром стоп-слов.

Если фильтр стоп-слов удалил foo вместо этого, то поиск foo будет расширен до baz, который не удаляется фильтром стоп-слов, тем самым потенциально обеспечивая совпадения для baz.