API векторов терминов

Если запрашиваемая информация не была сохранена в индексе, она будет вычислена на лету, если это возможно. Кроме того, векторы терминов можно вычислять для документов, которые даже не существуют в индексе, а вместо этого предоставляются пользователем.

Установка term_statistics на true (по умолчанию false) вернёт

По умолчанию эти значения не возвращаются, так как статистика терминов может серьёзно повлиять на производительность.

Установка field_statistics на false (по умолчанию true) исключит:

С помощью параметра filter возвращаемые термины также могут быть отфильтрованы на основе их tf-idf-оценок. Это может быть полезно для определения хорошего характерного вектора документа. Эта функция работает аналогично второму этапу запроса More Like This. См. пример 5 для использования.

Поддерживаются следующие подпараметры:

Сначала создадим индекс, хранящий векторные представления терминов, полезные данные и т.д.:

PUT /my-index-000001
{ "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "term_vector": "with_positions_offsets_payloads",
        "store" : true,
        "analyzer" : "fulltext_analyzer"
       },
       "fullname": {
        "type": "text",
        "term_vector": "with_positions_offsets_payloads",
        "analyzer" : "fulltext_analyzer"
      }
    }
  },
  "settings" : {
    "index" : {
      "number_of_shards" : 1,
      "number_of_replicas" : 0
    },
    "analysis": {
      "analyzer": {
        "fulltext_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "type_as_payload"
          ]
        }
      }
    }
  }
}

Затем добавим некоторые документы:

PUT /my-index-000001/_doc/1
{
  "fullname" : "John Doe",
  "text" : "test test test "
}

PUT /my-index-000001/_doc/2?refresh=wait_for
{
  "fullname" : "Jane Doe",
  "text" : "Another test ..."
}

Следующий запрос возвращает всю информацию и статистику для поля text в документе 1 (John Doe):

GET /my-index-000001/_termvectors/1
{
  "fields" : ["text"],
  "offsets" : true,
  "payloads" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true
}

Ответ:

{
  "_index": "my-index-000001",
  "_type": "_doc",
  "_id": "1",
  "_version": 1,
  "found": true,
  "took": 6,
  "term_vectors": {
    "text": {
      "field_statistics": {
        "sum_doc_freq": 4,
        "doc_count": 2,
        "sum_ttf": 6
      },
      "terms": {
        "test": {
          "doc_freq": 2,
          "ttf": 4,
          "term_freq": 3,
          "tokens": [
            {
              "position": 0,
              "start_offset": 0,
              "end_offset": 4,
              "payload": "d29yZA=="
            },
            {
              "position": 1,
              "start_offset": 5,
              "end_offset": 9,
              "payload": "d29yZA=="
            },
            {
              "position": 2,
              "start_offset": 10,
              "end_offset": 14,
              "payload": "d29yZA=="
            }
          ]
        }
      }
    }
  }
}

Векторные представления терминов, которые не хранятся явно в индексе, вычисляются автоматически на лету. Следующий запрос возвращает всю информацию и статистику для полей документа 1, даже если термины не были явно сохранены в индексе. Обратите внимание, что для поля text термины не перегенерируются.

GET /my-index-000001/_termvectors/1
{
  "fields" : ["text", "some_field_without_term_vectors"],
  "offsets" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true
}

Векторные представления терминов также могут быть сгенерированы для искусственных документов, то есть для документов, отсутствующих в индексе. Например, следующий запрос вернёт те же результаты, что и в примере 1. Используемое отображение определяется параметром index.

Если динамическое отображение включено (по умолчанию), поля документов, отсутствующие в исходном отображении, будут динамически созданы.

GET /my-index-000001/_termvectors
{
  "doc" : {
    "fullname" : "John Doe",
    "text" : "test test test"
  }
}

GET /my-index-000001/_termvectors
{
  "doc" : {
    "fullname" : "John Doe",
    "text" : "test test test"
  },
  "fields": ["fullname"],
  "per_field_analyzer" : {
    "fullname": "keyword"
  }
}

{
  "_index": "my-index-000001",
  "_type": "_doc",
  "_version": 0,
  "found": true,
  "took": 6,
  "term_vectors": {
    "fullname": {
       "field_statistics": {
          "sum_doc_freq": 2,
          "doc_count": 4,
          "sum_ttf": 4
       },
       "terms": {
          "John Doe": {
             "term_freq": 1,
             "tokens": [
                {
                   "position": 0,
                   "start_offset": 0,
                   "end_offset": 8
                }
             ]
          }
       }
    }
  }
}

Наконец, возвращаемые термины можно отфильтровать на основе их значений tf-idf. В примере ниже мы получаем три наиболее «интересных» ключевых слова из искусственного документа с заданным значением поля «сюжет». Обратите внимание, что ключевое слово «Тони» или любые стоп-слова не являются частью ответа, так как их tf-idf, вероятно, слишком низкий.

GET /imdb/_termvectors
{
  "doc": {
    "plot": "When wealthy industrialist Tony Stark is forced to build an armored suit after a life-threatening incident, he ultimately decides to use its technology to fight against evil."
  },
  "term_statistics": true,
  "field_statistics": true,
  "positions": false,
  "offsets": false,
  "filter": {
    "max_num_terms": 3,
    "min_term_freq": 1,
    "min_doc_freq": 1
  }
}

Ответ:

{
   "_index": "imdb",
   "_type": "_doc",
   "_version": 0,
   "found": true,
   "term_vectors": {
      "plot": {
         "field_statistics": {
            "sum_doc_freq": 3384269,
            "doc_count": 176214,
            "sum_ttf": 3753460
         },
         "terms": {
            "armored": {
               "doc_freq": 27,
               "ttf": 27,
               "term_freq": 1,
               "score": 9.74725
            },
            "industrialist": {
               "doc_freq": 88,
               "ttf": 88,
               "term_freq": 1,
               "score": 8.590818
            },
            "stark": {
               "doc_freq": 44,
               "ttf": 47,
               "term_freq": 1,
               "score": 9.272792
            }
         }
      }
   }
}