› › ›

Настройка API инференции в Elasticsearch

Для использования API инференции настраивать параметры не требуется. Каждый параметр имеет значение по умолчанию.

Настройки ведения журнала API инференции

При возникновении определенных ошибок генерируется сообщение в журнале. В случае повторяющейся ошибки механизм ограничения логов предотвращает многократное их записывание.

xpack.inference.logging.reset_interval: (Динамический) Указывает интервал, через который поток очистки будет удалять из внутренней кэш-памяти ранее записанные сообщения. Значение по умолчанию — один день (1d).
xpack.inference.logging.wait_duration: (Динамический) Указывает время ожидания после записи сообщения, прежде чем это сообщение можно будет записать снова. Значение по умолчанию — один час (1h).

Настройки HTTP API инференции

xpack.inference.http.max_response_size: (Динамический) Указывает максимальный размер HTTP-ответа в байтах. Значение по умолчанию — 50mb, максимальное настраиваемое значение — 100mb.
xpack.inference.http.max_total_connections: (Динамический) Указывает максимальное количество подключений, которое может занимать внутренний пул подключений. Значение по умолчанию — 50.
xpack.inference.http.max_route_connections: (Динамический) Указывает максимальное количество подключений, которые может занять отдельный маршрут из внутреннего пула подключений. Если это значение установлено на значение, равное или большее, чем xpack.inference.http.max_total_connections, то один сторонний сервис может занять все доступные подключения, и другие сторонние сервисы не смогут получить подключения. Значение по умолчанию — 20.
xpack.inference.http.connection_eviction_interval: (Динамический) Указывает интервал, через который поток удаления будет запускаться для удаления устаревших подключений из внутреннего пула подключений. Уменьшение этого значения может улучшить пропускную способность, если несколько сторонних сервисов конкурируют за доступные подключения в пуле. Значение по умолчанию — одна минута (1m).
xpack.inference.http.connection_eviction_max_idle_time: (Динамический) Указывает максимальную продолжительность бездействия подключения, после которой оно помечается как бездействующее и может быть закрыто и удалено из общего пула подключений. Значение по умолчанию — одна минута (1m).
xpack.inference.http.request_executor.queue_capacity: (Динамический) Указывает размер внутренней очереди для запросов, ожидающих отправки. Если очередь заполнена, и запрос отправлен в API инференции, он будет отклонен. Значение по умолчанию — 2000.

Настройки повторных попыток API инференции

При получении от стороннего сервиса кода временной ошибки (например, 429) запрос повторно отправляется API инференции. Эти настройки управляют поведением повторных попыток. При повторной отправке запроса используется экспоненциальная экспоненциальная задержка.

xpack.inference.http.retry.initial_delay: (Динамический) Указывает начальную задержку перед повторной отправкой запроса. Значение по умолчанию — одна секунда (1s).
xpack.inference.http.retry.max_delay_bound: (Динамический) Указывает максимальную задержку для запроса. Значение по умолчанию — пять секунд (5s).
xpack.inference.http.retry.timeout: (Динамический) Указывает максимальное количество попыток повторной отправки запроса. После превышения этого времени запрос больше не будет повторно отправляться, и будет возвращено сообщение об ошибке. Значение по умолчанию — 30 секунд (30s).

Ввод текста API инференции

При интеграции с некоторыми сторонними сервисами, когда сервис возвращает ошибку, указывающую на то, что входной запрос слишком большой, входные данные будут усечены, и запрос будет повторно отправлен. Эти настройки определяют, как выполняется усечение.

xpack.inference.truncator.reduction_percentage: (Динамический) Указывает процент, на который будет уменьшен входной текст, если сторонний сервис ответит ошибкой, указывающей на его избыточную длину. Значение по умолчанию — 50 процентов (0.5).

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/inference-settings.html