Фильтр токенов Hunspell

Словари Hunspell хранятся и обнаруживаются в отдельном каталоге hunspell на файловой системе: <$ES_PATH_CONF>/hunspell. Ожидается, что каждый словарь будет иметь свой собственный каталог, названный в соответствии с ассоциированным языком и локалью (например, pt_BR, en_GB). Этот каталог словаря должен содержать один .aff и один или несколько файлов .dic, все из которых будут автоматически обнаружены. Например, следующая структура каталогов определит словарь en_US:

- config
    |-- hunspell
    |    |-- en_US
    |    |    |-- en_US.dic
    |    |    |-- en_US.aff

Каждый словарь может быть настроен с одним параметром:

Следующий запрос API анализа использует фильтр hunspell для стемминга the foxes jumping quickly до the fox jump quick.

Запрос указывает локаль en_US, что означает, что используются файлы .aff и .dic в каталоге <$ES_PATH_CONF>/hunspell/en_US для словаря Hunspell.

resp = client.indices.analyze(
    tokenizer="standard",
    filter=[
        {
            "type": "hunspell",
            "locale": "en_US"
        }
    ],
    text="the foxes jumping quickly",
)
print(resp)

const response = await client.indices.analyze({
  tokenizer: "standard",
  filter: [
    {
      type: "hunspell",
      locale: "en_US",
    },
  ],
  text: "the foxes jumping quickly",
});
console.log(response);

GET /_analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "hunspell",
      "locale": "en_US"
    }
  ],
  "text": "the foxes jumping quickly"
}

Фильтр генерирует следующие токены:

[ the, fox, jump, quick ]

Для настройки фильтра hunspell, продублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос создания индекса использует настраиваемый фильтр hunspell, my_en_US_dict_stemmer, для настройки нового пользовательского анализатора.

Фильтр my_en_US_dict_stemmer использует каталог locale из en_US, что означает, что используются файлы .aff и .dic в каталоге <$ES_PATH_CONF>/hunspell/en_US. Фильтр также включает параметр dedup со значением false, что означает, что дублирующие токены, добавленные из словаря, не удаляются из выходных данных фильтра.

resp = client.indices.create(
    index="my-index-000001",
    settings={
        "analysis": {
            "analyzer": {
                "en": {
                    "tokenizer": "standard",
                    "filter": [
                        "my_en_US_dict_stemmer"
                    ]
                }
            },
            "filter": {
                "my_en_US_dict_stemmer": {
                    "type": "hunspell",
                    "locale": "en_US",
                    "dedup": False
                }
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'my-index-000001',
  body: {
    settings: {
      analysis: {
        analyzer: {
          en: {
            tokenizer: 'standard',
            filter: [
              'my_en_US_dict_stemmer'
            ]
          }
        },
        filter: {
          "my_en_US_dict_stemmer": {
            type: 'hunspell',
            locale: 'en_US',
            dedup: false
          }
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
    analysis: {
      analyzer: {
        en: {
          tokenizer: "standard",
          filter: ["my_en_US_dict_stemmer"],
        },
      },
      filter: {
        my_en_US_dict_stemmer: {
          type: "hunspell",
          locale: "en_US",
          dedup: false,
        },
      },
    },
  },
});
console.log(response);

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "en": {
          "tokenizer": "standard",
          "filter": [ "my_en_US_dict_stemmer" ]
        }
      },
      "filter": {
        "my_en_US_dict_stemmer": {
          "type": "hunspell",
          "locale": "en_US",
          "dedup": false
        }
      }
    }
  }
}

Помимо ignore_case настроек, вы можете настроить следующие глобальные настройки для фильтра hunspell с помощью elasticsearch.yml: