Фильтр токенов predicate script

Следующий запрос API анализа использует фильтр predicate_token_filter для вывода только токенов, длина которых превышает три символа, из the fox jumps the lazy dog.

GET /_analyze
{
  "tokenizer": "whitespace",
  "filter": [
    {
      "type": "predicate_token_filter",
      "script": {
        "source": """
          token.term.length() > 3
        """
      }
    }
  ],
  "text": "the fox jumps the lazy dog"
}

Фильтр производит следующие токены.

[ jumps, lazy ]

Ответ API содержит позицию и смещения каждого выведенного токена. Обратите внимание, что фильтр predicate_token_filter не изменяет исходных позиций или смещений токенов.

{
  "tokens" : [
    {
      "token" : "jumps",
      "start_offset" : 8,
      "end_offset" : 13,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "lazy",
      "start_offset" : 18,
      "end_offset" : 22,
      "type" : "word",
      "position" : 4
    }
  ]
}

Чтобы настроить фильтр predicate_token_filter, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Следующий запрос API создания индекса настраивает новый пользовательский анализатор с использованием пользовательского фильтра predicate_token_filter, my_script_filter.

Фильтр my_script_filter удаляет токены с любым типом, отличным от ALPHANUM.

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [
            "my_script_filter"
          ]
        }
      },
      "filter": {
        "my_script_filter": {
          "type": "predicate_token_filter",
          "script": {
            "source": """
              token.type.contains("ALPHANUM")
            """
          }
        }
      }
    }
  }
}