› › ›

Интеграция Watsonx Inference

Создаёт конечную точку вывода для выполнения задачи вывода с помощью сервиса watsonxai.

Для использования сервиса вывода watsonxai требуется развертывание IBM Cloud® Базы данных для Elasticsearch. Вы можете развернуть её через каталог IBM, плагин Cloud Databases CLI, API Cloud Databases или Terraform.

Запрос

PUT /_inference/<task_type>/<inference_id>

Параметры пути

<inference_id>

(Обязательно, строка) Уникальный идентификатор конечной точки вывода.

<task_type>

(Обязательно, строка) Тип задачи вывода, которую будет выполнять модель.

Доступные типы задач:

text_embedding.

Тело запроса

service

(Обязательно, строка) Тип сервиса, поддерживаемого для указанного типа задачи. В этом случае, watsonxai.

service_settings

(Обязательно, объект) Настройки для установки модели вывода.

Эти настройки специфичны для сервиса watsonxai.

api_key

(Обязательно, строка) Действительный API-ключ вашей учётной записи Watsonx. Вы можете найти свои API-ключи Watsonx или создать новый на странице API-ключей.

Вам нужно предоставить API-ключ только один раз, во время создания модели вывода. API Get inference API не извлекает ваш API-ключ. После создания модели вывода вы не можете изменить связанный API-ключ. Если вы хотите использовать другой API-ключ, удалите модель вывода и пересоздайте её с тем же именем и обновлённым API-ключом.

api_version

(Обязательно, строка) Параметр версии, который принимает дату версии в формате YYYY-MM-DD. Для параметров активных дат версий обратитесь к документации.

model_id

(Обязательно, строка) Название модели, используемой для задачи вывода. Список доступных моделей встраивания текста см. в разделе IBM Embedding Models в документации Watsonx.

url

(Обязательно, строка) URL-адрес конечной точки для обработки запросов.

project_id

(Обязательно, строка) Название проекта, используемого для задачи вывода.

rate_limit

(Необязательно, объект) По умолчанию сервис watsonxai устанавливает количество разрешённых запросов в минуту на 120. Это помогает минимизировать количество ошибок ограничения скорости, возвращаемых из Watsonx. Для изменения этого установите настройку requests_per_minute этого объекта в своих настройках сервиса:

"rate_limit": {
    "requests_per_minute": <<number_of_requests>>
}

Пример сервиса Watsonx AI

Следующий пример показывает, как создать конечную точку вывода под названием watsonx-embeddings для выполнения задачи типа text_embedding.

resp = client.inference.put(
    task_type="text_embedding",
    inference_id="watsonx-embeddings",
    inference_config={
        "service": "watsonxai",
        "service_settings": {
            "api_key": "<api_key>",
            "url": "<url>",
            "model_id": "ibm/slate-30m-english-rtrvr",
            "project_id": "<project_id>",
            "api_version": "2024-03-14"
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "text_embedding",
  inference_id: "watsonx-embeddings",
  inference_config: {
    service: "watsonxai",
    service_settings: {
      api_key: "<api_key>",
      url: "<url>",
      model_id: "ibm/slate-30m-english-rtrvr",
      project_id: "<project_id>",
      api_version: "2024-03-14",
    },
  },
});
console.log(response);

PUT _inference/text_embedding/watsonx-embeddings
{
    "service": "watsonxai",
    "service_settings": {
        "api_key": "<api_key>", 
        "url": "<url>", 
        "model_id": "ibm/slate-30m-english-rtrvr",
        "project_id": "<project_id>", 
        "api_version": "2024-03-14" 
    }
}

	Действительный API-ключ Watsonx. Его можно найти на странице API-ключей в вашей учётной записи.
	URL конечной точки вывода, созданный вами в Watsonx.
	Идентификатор вашего проекта IBM Cloud.
	Действительный параметр версии API. Параметры активных дат версий можно найти здесь.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/infer-service-watsonx-ai.html