Интеграция с HuggingFace для инференса

Создаёт конечную точку инференса для выполнения задачи инференса с помощью сервиса hugging_face.

PUT /_inference/<task_type>/<inference_id>

В следующем примере показано, как создать конечную точку инференса под названием hugging-face-embeddings для выполнения задачи типа text_embedding.

resp = client.inference.put(
    task_type="text_embedding",
    inference_id="hugging-face-embeddings",
    inference_config={
        "service": "hugging_face",
        "service_settings": {
            "api_key": "<access_token>",
            "url": "<url_endpoint>"
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "text_embedding",
  inference_id: "hugging-face-embeddings",
  inference_config: {
    service: "hugging_face",
    service_settings: {
      api_key: "<access_token>",
      url: "<url_endpoint>",
    },
  },
});
console.log(response);

PUT _inference/text_embedding/hugging-face-embeddings
{
  "service": "hugging_face",
  "service_settings": {
    "api_key": "<access_token>", 
    "url": "<url_endpoint>" 
  }
}

Создайте новую конечную точку инференса на странице конечных точек Hugging Face, чтобы получить URL-адрес конечной точки. Выберите модель, которую вы хотите использовать на странице создания новой конечной точки — например, intfloat/e5-small-v2 — затем выберите задачу Sentence Embeddings в разделе «Дополнительные настройки». Создайте конечную точку. Скопируйте URL после завершения инициализации конечной точки.

Список рекомендуемых моделей для сервиса Hugging Face: