API анализа текста

Вы можете применить любой из встроенных анализаторов к строке текста без указания индекса.

GET /_analyze
{
  "analyzer" : "standard",
  "text" : "this is a test"
}

Если параметр text задан как массив строк, он анализируется как поле с несколькими значениями.

GET /_analyze
{
  "analyzer" : "standard",
  "text" : ["this is a test", "the second text"]
}

Вы можете использовать API анализа для проверки пользовательского временного анализатора, созданного из токенизаторов, фильтров токенов и фильтров символов. Фильтры токенов используют параметр filter:

GET /_analyze
{
  "tokenizer" : "keyword",
  "filter" : ["lowercase"],
  "text" : "this is a test"
}

GET /_analyze
{
  "tokenizer" : "keyword",
  "filter" : ["lowercase"],
  "char_filter" : ["html_strip"],
  "text" : "this is a <b>test</b>"
}

Пользовательские токенизаторы, фильтры токенов и фильтры символов могут быть указаны в теле запроса следующим образом:

GET /_analyze
{
  "tokenizer" : "whitespace",
  "filter" : ["lowercase", {"type": "stop", "stopwords": ["a", "is", "this"]}],
  "text" : "this is a test"
}

Вы также можете запустить API анализа для конкретного индекса:

GET /analyze_sample/_analyze
{
  "text" : "this is a test"
}

Вышеприведённый пример выполнит анализ текста "this is a test" с использованием анализатора по умолчанию для индекса analyze_sample. Также можно указать analyzer для использования другого анализатора:

GET /analyze_sample/_analyze
{
  "analyzer" : "whitespace",
  "text" : "this is a test"
}

Анализатор может быть получен на основе отображения поля, например:

GET /analyze_sample/_analyze
{
  "field" : "obj1.field1",
  "text" : "this is a test"
}

Это заставит анализ произойти на основе анализатора, настроенного в отображении для поля obj1.field1 (а если нет, то анализатора по умолчанию индекса).

Можно указать normalizer для поля типа "ключевое слово" с нормализацией, связанной с индексом analyze_sample.

GET /analyze_sample/_analyze
{
  "normalizer" : "my_normalizer",
  "text" : "BaR"
}

Или создав пользовательскую временную нормализацию из фильтров токенов и фильтров символов.

GET /_analyze
{
  "filter" : ["lowercase"],
  "text" : "BaR"
}

Если вам нужны более подробные сведения, установите explain в значение true (по умолчанию false). Это выведет все атрибуты токенов для каждого токена. Вы можете отфильтровать требуемые атрибуты токенов, установив параметр attributes.

GET /_analyze
{
  "tokenizer" : "standard",
  "filter" : ["snowball"],
  "text" : "detailed output",
  "explain" : true,
  "attributes" : ["keyword"] 
}

Запрос возвращает следующий результат:

{
  "detail" : {
    "custom_analyzer" : true,
    "charfilters" : [ ],
    "tokenizer" : {
      "name" : "standard",
      "tokens" : [ {
        "token" : "detailed",
        "start_offset" : 0,
        "end_offset" : 8,
        "type" : "<ALPHANUM>",
        "position" : 0
      }, {
        "token" : "output",
        "start_offset" : 9,
        "end_offset" : 15,
        "type" : "<ALPHANUM>",
        "position" : 1
      } ]
    },
    "tokenfilters" : [ {
      "name" : "snowball",
      "tokens" : [ {
        "token" : "detail",
        "start_offset" : 0,
        "end_offset" : 8,
        "type" : "<ALPHANUM>",
        "position" : 0,
        "keyword" : false 
      }, {
        "token" : "output",
        "start_offset" : 9,
        "end_offset" : 15,
        "type" : "<ALPHANUM>",
        "position" : 1,
        "keyword" : false 
      } ]
    } ]
  }
}

Генерация чрезмерного количества токенов может привести к недостатку памяти на узле. Следующее ограничение позволяет ограничить количество генерируемых токенов:

PUT /analyze_sample
{
  "settings" : {
    "index.analyze.max_token_count" : 20000
  }
}

GET /analyze_sample/_analyze
{
  "text" : "this is a test"
}