Интеграция ELSER с Inference

Создаёт конечную точку вывода для выполнения задачи вывода с помощью сервиса elser. Вы также можете развернуть ELSER, используя интеграцию Elasticsearch с Inference.

PUT /_inference/<task_type>/<inference_id>

При включенных адаптивных распределениях количество распределений модели автоматически устанавливается на основе текущей нагрузки.

В следующем примере показано, как создать конечную точку вывода с именем my-elser-model для выполнения задачи типа sparse_embedding и настроить адаптивные распределения.

Приведённый ниже запрос автоматически загрузит модель ELSER, если она ещё не загружена, а затем развернёт модель.

resp = client.inference.put(
    task_type="sparse_embedding",
    inference_id="my-elser-model",
    inference_config={
        "service": "elser",
        "service_settings": {
            "adaptive_allocations": {
                "enabled": True,
                "min_number_of_allocations": 3,
                "max_number_of_allocations": 10
            },
            "num_threads": 1
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "sparse_embedding",
  inference_id: "my-elser-model",
  inference_config: {
    service: "elser",
    service_settings: {
      adaptive_allocations: {
        enabled: true,
        min_number_of_allocations: 3,
        max_number_of_allocations: 10,
      },
      num_threads: 1,
    },
  },
});
console.log(response);

PUT _inference/sparse_embedding/my-elser-model
{
  "service": "elser",
  "service_settings": {
    "adaptive_allocations": {
      "enabled": true,
      "min_number_of_allocations": 3,
      "max_number_of_allocations": 10
    },
    "num_threads": 1
  }
}

В следующем примере показано, как создать конечную точку вывода с именем my-elser-model для выполнения задачи типа sparse_embedding. Дополнительную информацию см. в документации модели ELSER.

Приведённый ниже запрос автоматически загрузит модель ELSER, если она ещё не загружена, а затем развернёт модель.

resp = client.inference.put(
    task_type="sparse_embedding",
    inference_id="my-elser-model",
    inference_config={
        "service": "elser",
        "service_settings": {
            "num_allocations": 1,
            "num_threads": 1
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "sparse_embedding",
  inference_id: "my-elser-model",
  inference_config: {
    service: "elser",
    service_settings: {
      num_allocations: 1,
      num_threads: 1,
    },
  },
});
console.log(response);

PUT _inference/sparse_embedding/my-elser-model
{
  "service": "elser",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1
  }
}

Пример ответа:

{
  "inference_id": "my-elser-model",
  "task_type": "sparse_embedding",
  "service": "elser",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1
  },
  "task_settings": {}
}