API оценки ранжирования

В качестве альтернативы указанию одного запроса на запрос оценки, можно указать шаблоны запросов в запросе оценки и ссылаться на них позже. Таким образом, запросы с похожей структурой, отличающиеся только параметрами, не нужно повторять постоянно в разделе requests. В типичных поисковых системах, где входные данные пользователей обычно заполняют небольшое количество шаблонов запросов, это помогает сделать запрос оценки более лаконичным.

GET /my-index-000001/_rank_eval
{
   [...]
  "templates": [
     {
        "id": "match_one_field_query",  
        "template": { 
            "inline": {
                "query": {
                  "match": { "{{field}}": { "query": "{{query_string}}" }}
                }
            }
        }
     }
  ],
  "requests": [
      {
         "id": "amsterdam_query"
         "ratings": [ ... ],
         "template_id": "match_one_field_query", 
         "params": { 
            "query_string": "amsterdam",
            "field": "text"
          }
     },
    [...]
}

Вы также можете использовать сохраненный шаблон поиска.

GET /my_index/_rank_eval
{
   [...]
  "templates": [
     {
        "id": "match_one_field_query",  
        "template": { 
            "id": "match_one_field_query"
        }
     }
  ],
  "requests": [...]
}

Раздел metric определяет, какие из доступных метрик оценки будут использоваться. Поддерживаются следующие метрики:

Эта метрика измеряет долю релевантных результатов в топ-k результатах поиска. Это форма известной метрики точности, которая рассматривает только топ-k документов. Это доля релевантных документов в первых k результатах. Значение точности при 10 (P@10) 0,6 означает, что 6 из 10 лучших результатов релевантны с точки зрения информационных потребностей пользователя.

P@k хорошо работает как простая метрика оценки, которую легко понять и объяснить. Документы в коллекции необходимо оценить как релевантные или нерелевантные относительно текущего запроса. P@k — это метрика на основе множеств и не учитывает положение релевантных документов в топ-k результатах, поэтому рейтинг из десяти результатов, содержащий один релевантный результат на позиции 10, так же хорош, как и рейтинг из десяти результатов, содержащий один релевантный результат на позиции 1.

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "precision": {
      "k": 20,
      "relevant_rating_threshold": 1,
      "ignore_unlabeled": false
    }
  }
}

Метрика precision принимает следующие необязательные параметры

Эта метрика измеряет общее количество релевантных результатов в топ-k результатах поиска. Это форма известной метрики полноты. Это доля релевантных документов в первых k результатах относительно всех возможных релевантных результатов. Значение полноты при 10 (R@10) 0,5 означает, что 4 из 8 релевантных документов с точки зрения информационных потребностей пользователя были получены в 10 лучших результатах.

R@k хорошо работает как простая метрика оценки, которую легко понять и объяснить. Документы в коллекции необходимо оценить как релевантные или нерелевантные относительно текущего запроса. R@k — это метрика на основе множеств и не учитывает положение релевантных документов в топ-k результатах, поэтому рейтинг из десяти результатов, содержащий один релевантный результат на позиции 10, так же хорош, как и рейтинг из десяти результатов, содержащий один релевантный результат на позиции 1.

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "recall": {
      "k": 20,
      "relevant_rating_threshold": 1
    }
  }
}

Метрика recall принимает следующие необязательные параметры

Для каждого запроса в наборе тестов эта метрика вычисляет обратное значение ранга первого релевантного документа. Например, нахождение первого релевантного результата на позиции 3 означает, что обратный ранг равен 1/3. Обратный ранг для каждого запроса усредняется по всем запросам в наборе тестов, чтобы получить средний обратный ранг.

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "mean_reciprocal_rank": {
      "k": 20,
      "relevant_rating_threshold": 1
    }
  }
}

Метрика mean_reciprocal_rank принимает следующие необязательные параметры

В отличие от двух метрик выше, скидочная кумулятивная выгода учитывает как ранг, так и оценку результатов поиска.

Предполагается, что высокорелевантные документы полезнее для пользователя, когда они появляются в верхней части списка результатов. Поэтому формула DCG уменьшает вклад высоких оценок документов с более низкими рангами в общем показателе метрики DCG.

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "dcg": {
      "k": 20,
      "normalize": false
    }
  }
}

Метрика dcg принимает следующие необязательные параметры:

Ожидаемый обратный ранг (ERR) — это расширение классического обратного ранга для случая градиентной релевантности (Оливье Шапель, Донольд Метцлер, Я Чжан и Пьер Гринспан. 2009. Ожидаемый обратный ранг для градиентной релевантности.)

Он основан на предположении о каскадной модели поиска, в которой пользователь просматривает результаты поиска в ранжированном порядке и останавливается на первом документе, удовлетворяющем информационным потребностям. По этой причине это хорошая метрика для запросов по ответам на вопросы и навигации, но менее подходит для запросов на обзоры информации, где пользователь заинтересован в поиске многих релевантных документов в результатах топ-k.

Метрика моделирует ожидание обратного значения позиции, на которой пользователь прекращает чтение списка результатов. Это означает, что релевантный документ в верхней позиции ранжирования внесет большой вклад в общий балл. Однако тот же документ внесет гораздо меньший вклад в балл, если он появится в нижнем ранге; и еще меньше, если ему предшествуют некоторые релевантные (но, возможно, менее релевантные) документы. Таким образом, метрика ERR дисконтирует документы, которые отображаются после очень релевантных документов. Это вводит понятие зависимости в порядке расположения релевантных документов, чего не учитывают, например, точность или DCG.

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "expected_reciprocal_rank": {
      "maximum_relevance": 3,
      "k": 20
    }
  }
}

Метрика expected_reciprocal_rank принимает следующие параметры:

Ответ на запрос _rank_eval содержит общий рассчитанный результат для определенного метрики качества, раздел details с разбивкой результатов для каждого запроса в наборе тестов и необязательный раздел failures, который показывает возможные ошибки отдельных запросов. Ответ имеет следующий формат:

{
  "rank_eval": {
    "metric_score": 0.4,                          
      "details": {
      "my_query_id1": {                           
        "metric_score": 0.6,                      
        "unrated_docs": [                         
          {
            "_index": "my-index-000001",
            "_id": "1960795"
          }, ...
        ],
        "hits": [
          {
            "hit": {                              
              "_index": "my-index-000001",
              "_type": "page",
              "_id": "1528558",
              "_score": 7.0556192
            },
            "rating": 1
          }, ...
        ],
        "metric_details": {                       
          "precision": {
            "relevant_docs_retrieved": 6,
            "docs_retrieved": 10
          }
        }
      },
      "my_query_id2": { [... ] }
    },
    "failures": { [... ] }
  }
}