API оценки ранжирования

В качестве альтернативы предоставлению одного запроса на каждый тестовый запрос можно указать шаблоны запросов в запросе оценки и позже сослаться на них. Таким образом, запросы с похожей структурой, отличающиеся только параметрами, не нужно повторять каждый раз в разделе requests. В типичных поисковых системах, где входные данные пользователей обычно заполняются в небольшой набор шаблонов запросов, это помогает сделать запрос оценки более лаконичным.

GET /my-index-000001/_rank_eval
{
   [...]
  "templates": [
     {
        "id": "match_one_field_query",  
        "template": { 
            "inline": {
                "query": {
                  "match": { "{{field}}": { "query": "{{query_string}}" }}
                }
            }
        }
     }
  ],
  "requests": [
      {
         "id": "amsterdam_query",
         "ratings": [ ... ],
         "template_id": "match_one_field_query", 
         "params": { 
            "query_string": "amsterdam",
            "field": "text"
          }
     },
    [...]
}

Вы также можете использовать сохраненный шаблон поиска.

GET /my_index/_rank_eval
{
   [...]
  "templates": [
     {
        "id": "match_one_field_query",  
        "template": { 
            "id": "match_one_field_query"
        }
     }
  ],
  "requests": [...]
}

Раздел metric определяет, какие из доступных метрик оценки будут использоваться. Поддерживаются следующие метрики:

Эта метрика измеряет долю релевантных результатов в результатах поиска по верхним k позициям. Это форма хорошо известной метрики точности, которая рассматривает только первые k документов. Это отношение релевантных документов к первым k результатам. Значение точности при 10 (P@10) равное 0,6 означает, что 6 из 10 лучших результатов релевантны потребностям пользователя.

P@k хорошо работает в качестве простой метрики оценки, которая проста в понимании и объяснении. Документы в коллекции должны быть оценены как релевантные или нерелевантные по отношению к текущему запросу. P@k — это метрика, основанная на множествах, и не учитывает положение релевантных документов в результатах по верхним k позициям, поэтому рейтинг из десяти результатов с одним релевантным результатом на 10-й позиции так же хорош, как и рейтинг из десяти результатов с одним релевантным результатом на первой позиции.

resp = client.rank_eval(
    index="my-index-000001",
    requests=[
        {
            "id": "JFK query",
            "request": {
                "query": {
                    "match_all": {}
                }
            },
            "ratings": []
        }
    ],
    metric={
        "precision": {
            "k": 20,
            "relevant_rating_threshold": 1,
            "ignore_unlabeled": False
        }
    },
)
print(resp)

response = client.rank_eval(
  index: 'my-index-000001',
  body: {
    requests: [
      {
        id: 'JFK query',
        request: {
          query: {
            match_all: {}
          }
        },
        ratings: []
      }
    ],
    metric: {
      precision: {
        k: 20,
        relevant_rating_threshold: 1,
        ignore_unlabeled: false
      }
    }
  }
)
puts response

const response = await client.rankEval({
  index: "my-index-000001",
  requests: [
    {
      id: "JFK query",
      request: {
        query: {
          match_all: {},
        },
      },
      ratings: [],
    },
  ],
  metric: {
    precision: {
      k: 20,
      relevant_rating_threshold: 1,
      ignore_unlabeled: false,
    },
  },
});
console.log(response);

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "precision": {
      "k": 20,
      "relevant_rating_threshold": 1,
      "ignore_unlabeled": false
    }
  }
}

Метрика precision принимает следующие необязательные параметры:

Эта метрика измеряет общее количество релевантных результатов в результатах поиска по верхним k позициям. Это форма хорошо известной метрики полноты. Это отношение релевантных документов к первым k результатам по отношению ко всем возможным релевантным результатам. Значение полноты при 10 (R@10) равное 0,5 означает, что 4 из 8 релевантных документов, по отношению к потребностям пользователя, были извлечены в 10 лучших результатах.

R@k хорошо работает в качестве простой метрики оценки, которая проста в понимании и объяснении. Документы в коллекции должны быть оценены как релевантные или нерелевантные по отношению к текущему запросу. R@k — это метрика, основанная на множествах, и не учитывает положение релевантных документов в результатах по верхним k позициям, поэтому рейтинг из десяти результатов с одним релевантным результатом на 10-й позиции так же хорош, как и рейтинг из десяти результатов с одним релевантным результатом на первой позиции.

resp = client.rank_eval(
    index="my-index-000001",
    requests=[
        {
            "id": "JFK query",
            "request": {
                "query": {
                    "match_all": {}
                }
            },
            "ratings": []
        }
    ],
    metric={
        "recall": {
            "k": 20,
            "relevant_rating_threshold": 1
        }
    },
)
print(resp)

response = client.rank_eval(
  index: 'my-index-000001',
  body: {
    requests: [
      {
        id: 'JFK query',
        request: {
          query: {
            match_all: {}
          }
        },
        ratings: []
      }
    ],
    metric: {
      recall: {
        k: 20,
        relevant_rating_threshold: 1
      }
    }
  }
)
puts response

const response = await client.rankEval({
  index: "my-index-000001",
  requests: [
    {
      id: "JFK query",
      request: {
        query: {
          match_all: {},
        },
      },
      ratings: [],
    },
  ],
  metric: {
    recall: {
      k: 20,
      relevant_rating_threshold: 1,
    },
  },
});
console.log(response);

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "recall": {
      "k": 20,
      "relevant_rating_threshold": 1
    }
  }
}

Метрика recall принимает следующие необязательные параметры:

Для каждого запроса в наборе тестов эта метрика вычисляет обратное значение ранга первого релевантного документа. Например, нахождение первого релевантного результата на 3-й позиции означает, что обратный ранг равен 1/3. Средний обратный ранг для каждого запроса вычисляется в среднем по всем запросам в наборе тестов, что дает средний обратный ранг.

resp = client.rank_eval(
    index="my-index-000001",
    requests=[
        {
            "id": "JFK query",
            "request": {
                "query": {
                    "match_all": {}
                }
            },
            "ratings": []
        }
    ],
    metric={
        "mean_reciprocal_rank": {
            "k": 20,
            "relevant_rating_threshold": 1
        }
    },
)
print(resp)

response = client.rank_eval(
  index: 'my-index-000001',
  body: {
    requests: [
      {
        id: 'JFK query',
        request: {
          query: {
            match_all: {}
          }
        },
        ratings: []
      }
    ],
    metric: {
      mean_reciprocal_rank: {
        k: 20,
        relevant_rating_threshold: 1
      }
    }
  }
)
puts response

const response = await client.rankEval({
  index: "my-index-000001",
  requests: [
    {
      id: "JFK query",
      request: {
        query: {
          match_all: {},
        },
      },
      ratings: [],
    },
  ],
  metric: {
    mean_reciprocal_rank: {
      k: 20,
      relevant_rating_threshold: 1,
    },
  },
});
console.log(response);

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "mean_reciprocal_rank": {
      "k": 20,
      "relevant_rating_threshold": 1
    }
  }
}

Метрика mean_reciprocal_rank принимает следующие необязательные параметры:

В отличие от двух вышеперечисленных метрик, скидочная кумулятивная выгода учитывает как ранг, так и оценку результатов поиска.

Предполагается, что очень релевантные документы более полезны для пользователя, когда они появляются в верхней части списка результатов. Поэтому формула DCG уменьшает вклад высоких оценок документов с низкими позициями в итоговой метрике DCG.

resp = client.rank_eval(
    index="my-index-000001",
    requests=[
        {
            "id": "JFK query",
            "request": {
                "query": {
                    "match_all": {}
                }
            },
            "ratings": []
        }
    ],
    metric={
        "dcg": {
            "k": 20,
            "normalize": False
        }
    },
)
print(resp)

response = client.rank_eval(
  index: 'my-index-000001',
  body: {
    requests: [
      {
        id: 'JFK query',
        request: {
          query: {
            match_all: {}
          }
        },
        ratings: []
      }
    ],
    metric: {
      dcg: {
        k: 20,
        normalize: false
      }
    }
  }
)
puts response

const response = await client.rankEval({
  index: "my-index-000001",
  requests: [
    {
      id: "JFK query",
      request: {
        query: {
          match_all: {},
        },
      },
      ratings: [],
    },
  ],
  metric: {
    dcg: {
      k: 20,
      normalize: false,
    },
  },
});
console.log(response);

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "dcg": {
      "k": 20,
      "normalize": false
    }
  }
}

Метрика dcg принимает следующие необязательные параметры:

Ожидаемый обратный ранг (ERR) — это расширение классического обратного ранга для случая оценки с градацией (Olivier Chapelle, Donald Metzler, Ya Zhang и Pierre Grinspan. Янв 2009. Ожидаемый обратный ранг для оценки с градацией.)

Он основан на предположении о каскадной модели поиска, в которой пользователь просматривает упорядоченные результаты поиска и останавливается на первом документе, удовлетворяющем потребности в информации. По этой причине он является хорошей метрикой для запросов, связанных с ответами на вопросы и навигацией, но менее подходит для запросов, ориентированных на опросы, где пользователь заинтересован в поиске многих релевантных документов в результатах по верхним k позициям.

Метрика моделирует ожидание обратного значения позиции, на которой пользователь останавливается при чтении списка результатов. Это означает, что релевантный документ в верхней части ранжирования будет вносить большой вклад в общий балл. Однако тот же документ внесет гораздо меньший вклад в балл, если он появится в нижней части ранжирования; и еще меньше, если ему предшествуют релевантные (возможно, менее релевантные) документы. Таким образом, метрика ERR дисконтирует документы, показанные после очень релевантных документов. Это вводит понятие зависимости в порядке релевантных документов, чего не учитывают, например, точность или DCG.

resp = client.rank_eval(
    index="my-index-000001",
    requests=[
        {
            "id": "JFK query",
            "request": {
                "query": {
                    "match_all": {}
                }
            },
            "ratings": []
        }
    ],
    metric={
        "expected_reciprocal_rank": {
            "maximum_relevance": 3,
            "k": 20
        }
    },
)
print(resp)

response = client.rank_eval(
  index: 'my-index-000001',
  body: {
    requests: [
      {
        id: 'JFK query',
        request: {
          query: {
            match_all: {}
          }
        },
        ratings: []
      }
    ],
    metric: {
      expected_reciprocal_rank: {
        maximum_relevance: 3,
        k: 20
      }
    }
  }
)
puts response

const response = await client.rankEval({
  index: "my-index-000001",
  requests: [
    {
      id: "JFK query",
      request: {
        query: {
          match_all: {},
        },
      },
      ratings: [],
    },
  ],
  metric: {
    expected_reciprocal_rank: {
      maximum_relevance: 3,
      k: 20,
    },
  },
});
console.log(response);

GET /my-index-000001/_rank_eval
{
  "requests": [
    {
      "id": "JFK query",
      "request": { "query": { "match_all": {} } },
      "ratings": []
    } ],
  "metric": {
    "expected_reciprocal_rank": {
      "maximum_relevance": 3,
      "k": 20
    }
  }
}

Метрика expected_reciprocal_rank принимает следующие параметры:

Ответ на запрос _rank_eval содержит общий рассчитанный результат для заданного метрики качества, раздел details с детализацией результатов для каждого запроса в наборе тестов и необязательный раздел failures, который показывает потенциальные ошибки отдельных запросов. Ответ имеет следующий формат:

{
  "rank_eval": {
    "metric_score": 0.4,                          
      "details": {
      "my_query_id1": {                           
        "metric_score": 0.6,                      
        "unrated_docs": [                         
          {
            "_index": "my-index-000001",
            "_id": "1960795"
          }, ...
        ],
        "hits": [
          {
            "hit": {                              
              "_index": "my-index-000001",
              "_type": "page",
              "_id": "1528558",
              "_score": 7.0556192
            },
            "rating": 1
          }, ...
        ],
        "metric_details": {                       
          "precision": {
            "relevant_docs_retrieved": 6,
            "docs_retrieved": 10
          }
        }
      },
      "my_query_id2": { [... ] }
    },
    "failures": { [... ] }
  }
}