API развертывания обученной модели

POST _ml/trained_models/<model_id>/deployment/_start

Требуется привилегия кластера manage_ml. Эта привилегия включена в встроенную роль machine_learning_admin.

В настоящее время для развертывания поддерживаются только модели pytorch. После развертывания модель может использоваться процессором вывода Inference processor в конвейере приема или непосредственно в API Infer trained model.

Модель можно развернуть несколько раз, используя идентификаторы развертывания. Идентификатор развертывания должен быть уникальным и не должен совпадать с другим идентификатором развертывания или идентификатором модели, если только это не идентификатор той модели, которая развертывается. Если deployment_id не задан, по умолчанию используется model_id.

Вы можете включить адаптивные распределения, чтобы автоматически масштабировать распределения моделей вверх и вниз в зависимости от фактических потребностей в ресурсах процессов.

Ручное масштабирование производительности вывода можно выполнить, задав параметры number_of_allocations и threads_per_allocation.

Увеличение значения threads_per_allocation означает, что при обработке запроса вывода на узле используется больше потоков. Это может улучшить скорость вывода для определенных моделей. Также это может улучшить пропускную способность.

Увеличение значения number_of_allocations означает, что для одновременной обработки нескольких запросов вывода используется больше потоков, что приводит к улучшению пропускной способности. Каждый ресурс выделения модели использует количество потоков, определенное параметром threads_per_allocation.

Распределения моделей распределяются по узлам машинного обучения. Все распределения, назначенные узлу, используют одну и ту же копию модели в памяти. Чтобы избежать перегрузки потоков, что негативно сказывается на производительности, распределения моделей распределяются таким образом, что общее количество используемых потоков не превышает выделенных процессоров узла.

В следующем примере запускается новое развертывание для обученной модели elastic__distilbert-base-uncased-finetuned-conll03-english:

resp = client.ml.start_trained_model_deployment(
    model_id="elastic__distilbert-base-uncased-finetuned-conll03-english",
    wait_for="started",
    timeout="1m",
)
print(resp)

const response = await client.ml.startTrainedModelDeployment({
  model_id: "elastic__distilbert-base-uncased-finetuned-conll03-english",
  wait_for: "started",
  timeout: "1m",
});
console.log(response);

POST _ml/trained_models/elastic__distilbert-base-uncased-finetuned-conll03-english/deployment/_start?wait_for=started&timeout=1m

API возвращает следующие результаты:

{
    "assignment": {
        "task_parameters": {
            "model_id": "elastic__distilbert-base-uncased-finetuned-conll03-english",
            "model_bytes": 265632637,
            "threads_per_allocation" : 1,
            "number_of_allocations" : 1,
            "queue_capacity" : 10000,
            "priority": "normal"
        },
        "routing_table": {
            "uckeG3R8TLe2MMNBQ6AGrw": {
                "routing_state": "started",
                "reason": ""
            }
        },
        "assignment_state": "started",
        "start_time": "2022-11-02T11:50:34.766591Z"
    }
}

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_ingest",
)
print(resp)

const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_ingest",
});
console.log(response);

POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_ingest

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_search",
)
print(resp)

const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_search",
});
console.log(response);

POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_search

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_search",
    adaptive_allocations={
        "enabled": True,
        "min_number_of_allocations": 3,
        "max_number_of_allocations": 10
    },
)
print(resp)

const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_search",
});
console.log(response);

POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_search
{
  "adaptive_allocations": {
    "enabled": true,
    "min_number_of_allocations": 3,
    "max_number_of_allocations": 10
  }
}