Семантическая повторная ранжировка

Модули повторного ранжирования повышают релевантность результатов от механизмов извлечения на ранних этапах. Семантические модули повторного ранжирования используют модели машинного обучения для переупорядочения результатов поиска на основе их семантического сходства с запросом.

Семантическое повторное ранжирование требует относительно больших и сложных моделей машинного обучения и работает в реальном времени в ответ на запросы. Этот метод имеет смысл на небольшом наборе результатов top-k, как один из конечных шагов в конвейере. Это мощный метод повышения релевантности поиска, который одинаково хорошо работает с алгоритмами релевантности на основе ключевых слов, семантики или гибридными алгоритмами.

Следующие разделы содержат более подробную информацию о преимуществах, вариантах использования и типах моделей, используемых для семантического повторного ранжирования. В заключительных разделах представлен практический, общий обзор того, как реализовать семантическое повторное ранжирование в Elasticsearch, и ссылки на полную справочную документацию.

Семантическое повторное ранжирование позволяет использовать различные варианты использования:

Теперь, когда мы определили ценность семантического повторного ранжирования, мы рассмотрим конкретные модели, которые обеспечивают этот процесс, и как они отличаются.

В целом, для семантического повторного ранжирования используются два типа моделей: кросс-кодеры и би-кодеры.

Короче говоря, кросс-кодеры обеспечивают высокую точность, но более ресурсоемки. Би-кодеры быстрее и эффективнее, но менее точны.

В будущих версиях Elasticsearch также будет поддерживать би-кодеров. Если вас интересует более подробный анализ практических различий между кросс-кодерами и би-кодерами, раскройте следующий раздел.

В Elasticsearch семантические модули повторного ранжирования реализуются с использованием API вывода Elasticsearch и извлекателя.

Для использования семантического повторного ранжирования в Elasticsearch необходимо:

resp = client.search(
    retriever={
        "text_similarity_reranker": {
            "retriever": {
                "standard": {
                    "query": {
                        "match": {
                            "text": "How often does the moon hide the sun?"
                        }
                    }
                }
            },
            "field": "text",
            "inference_id": "elastic-rerank",
            "inference_text": "How often does the moon hide the sun?",
            "rank_window_size": 100,
            "min_score": 0.5
        }
    },
)
print(resp)

const response = await client.search({
  retriever: {
    text_similarity_reranker: {
      retriever: {
        standard: {
          query: {
            match: {
              text: "How often does the moon hide the sun?",
            },
          },
        },
      },
      field: "text",
      inference_id: "elastic-rerank",
      inference_text: "How often does the moon hide the sun?",
      rank_window_size: 100,
      min_score: 0.5,
    },
  },
});
console.log(response);

POST _search
{
  "retriever": {
    "text_similarity_reranker": {
      "retriever": {
        "standard": {
          "query": {
            "match": {
              "text": "How often does the moon hide the sun?"
            }
          }
        }
      },
      "field": "text",
      "inference_id": "elastic-rerank",
      "inference_text": "How often does the moon hide the sun?",
      "rank_window_size": 100,
      "min_score": 0.5
    }
  }
}