Фильтр токенов Hunspell

Словари Hunspell хранятся и распознаются в отдельном каталоге hunspell на файловой системе: <$ES_PATH_CONF>/hunspell. Каждый словарь должен иметь свой каталог, названный по соответствующему языку и локали (например, pt_BR, en_GB). В этом каталоге словаря ожидается наличие одного файла .aff и одного или нескольких файлов .dic, которые будут автоматически подхвачены. Например, следующая структура каталога определяет словарь en_US:

- config
    |-- hunspell
    |    |-- en_US
    |    |    |-- en_US.dic
    |    |    |-- en_US.aff

Каждый словарь можно настроить с помощью одного параметра:

Следующий запрос API анализа использует фильтр hunspell для сведения the foxes jumping quickly до the fox jump quick.

В запросе указана локаль en_US, что означает, что для словаря Hunspell используются файлы .aff и .dic в каталоге <$ES_PATH_CONF>/hunspell/en_US.

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "hunspell",
      "locale": "en_US"
    }
  ],
  "text": "the foxes jumping quickly"
}

Фильтр создаёт следующие токены:

[ the, fox, jump, quick ]

Чтобы настроить фильтр hunspell, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос API создания индекса создания индекса использует пользовательский фильтр hunspell, my_en_US_dict_stemmer, для настройки нового пользовательского анализатора.

Фильтр my_en_US_dict_stemmer использует каталог локали locale, равный en_US, что означает, что для словаря Hunspell используются файлы .aff и .dic в каталоге <$ES_PATH_CONF>/hunspell/en_US. Фильтр также включает аргумент dedup со значением false, что означает, что дублирующие токены, добавленные из словаря, не удаляются из выходных данных фильтра.

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "en": {
          "tokenizer": "standard",
          "filter": [ "my_en_US_dict_stemmer" ]
        }
      },
      "filter": {
        "my_en_US_dict_stemmer": {
          "type": "hunspell",
          "locale": "en_US",
          "dedup": false
        }
      }
    }
  }
}

Помимо настроек ignore_case, можно настроить следующие глобальные настройки для фильтра hunspell с помощью elasticsearch.yml: