Фильтр токенов Keep types

Следующий запрос API анализа использует фильтр keep_types, чтобы сохранить только <NUM> (числовые) токены из 1 quick fox 2 lazy dogs.

GET _analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "keep_types",
      "types": [ "<NUM>" ]
    }
  ],
  "text": "1 quick fox 2 lazy dogs"
}

Фильтр генерирует следующие токены:

[ 1, 2 ]

Следующий запрос API анализа использует фильтр keep_types, чтобы удалить токены <NUM> из 1 quick fox 2 lazy dogs. Обратите внимание, что параметр mode установлен в exclude.

GET _analyze
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "keep_types",
      "types": [ "<NUM>" ],
      "mode": "exclude"
    }
  ],
  "text": "1 quick fox 2 lazy dogs"
}

Фильтр генерирует следующие токены:

[ quick, fox, lazy, dogs ]

Чтобы настроить фильтр keep_types, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Можно изменить фильтр с помощью настраиваемых параметров.

Например, следующий запрос API создания индекса использует настраиваемый фильтр keep_types для настройки нового пользовательского анализатора. Настраиваемый фильтр keep_types сохраняет только <ALPHANUM> (буквенно-цифровые) токены.

PUT keep_types_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [ "extract_alpha" ]
        }
      },
      "filter": {
        "extract_alpha": {
          "type": "keep_types",
          "types": [ "<ALPHANUM>" ]
        }
      }
    }
  }
}