› › ›

Интеграция с Mistral

Создаёт конечную точку вывода для выполнения задачи вывода с помощью сервиса mistral.

Запрос

PUT /_inference/<task_type>/<inference_id>

Параметры пути

<inference_id>

(Обязательно, строка) Уникальный идентификатор конечной точки вывода.

<task_type>

(Обязательно, строка) Тип задачи вывода, которую будет выполнять модель.

Доступные типы задач:

text_embedding.

Тело запроса

chunking_settings

(Необязательно, объект) Конфигурация фрагментации. Обратитесь к Настройке фрагментации, чтобы узнать больше о фрагментации.

max_chunk_size: (Необязательно, целое число) Указывает максимальный размер фрагмента в словах. По умолчанию 250. Это значение не может быть больше 300 или меньше 20 (для стратегии sentence) или 10 (для стратегии word).
overlap: (Необязательно, целое число) Только для стратегии фрагментации word. Указывает количество перекрывающихся слов для фрагментов. По умолчанию 100. Это значение не может быть больше половины от max_chunk_size.
sentence_overlap: (Необязательно, целое число) Только для стратегии фрагментации sentence. Указывает количество перекрывающихся предложений для фрагментов. Может быть либо 1, либо 0. По умолчанию 1.
strategy: (Необязательно, строка) Указывает стратегию фрагментации. Может быть либо sentence, либо word.

service

(Обязательно, строка) Тип сервиса, поддерживаемого для указанного типа задачи. В данном случае, mistral.

service_settings

(Обязательно, объект) Настройки, используемые для установки модели вывода.

Эти настройки специфичны для сервиса mistral.

api_key

(Обязательно, строка) Действительный API-ключ для вашей учетной записи Mistral. Вы можете найти свои API-ключи Mistral или создать новый на странице API-ключей.

Вам нужно предоставить API-ключ только один раз, при создании модели вывода. API Получения API вывода не извлекает ваш API-ключ. После создания модели вывода вы не сможете изменить связанный API-ключ. Если вы хотите использовать другой API-ключ, удалите модель вывода и создайте её заново с тем же именем и обновленным API-ключом.

model

(Обязательно, строка) Имя модели, которую нужно использовать для задачи вывода. Список доступных моделей встраивания текста см. в документации по моделям Mistral.

max_input_tokens

(Необязательно, целое число) Позволяет указать максимальное количество токенов на вход перед фрагментацией.

rate_limit

(Необязательно, объект) По умолчанию, сервис mistral устанавливает количество разрешённых запросов в минуту на 240. Это помогает минимизировать количество ошибок ограничения скорости, возвращаемых API Mistral. Для изменения этого, установите настройку requests_per_minute в настройках вашего сервиса:

"rate_limit": {
    "requests_per_minute": <<number_of_requests>>
}

Пример сервиса Mistral

В следующем примере показано, как создать конечную точку вывода с именем mistral-embeddings-test для выполнения задачи типа text_embedding.

resp = client.inference.put(
    task_type="text_embedding",
    inference_id="mistral-embeddings-test",
    inference_config={
        "service": "mistral",
        "service_settings": {
            "api_key": "<api_key>",
            "model": "mistral-embed"
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "text_embedding",
  inference_id: "mistral-embeddings-test",
  inference_config: {
    service: "mistral",
    service_settings: {
      api_key: "<api_key>",
      model: "mistral-embed",
    },
  },
});
console.log(response);

PUT _inference/text_embedding/mistral-embeddings-test
{
  "service": "mistral",
  "service_settings": {
    "api_key": "<api_key>",
    "model": "mistral-embed" 
  }
}

model должен быть идентификатором модели встраивания текста, который можно найти в документации по моделям Mistral.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/infer-service-mistral.html