› › ›

API вывода обученной модели

Выполняет оценку обученной модели. Модель может быть любой контролируемой моделью, обученной с помощью анализа данных фреймов или импортированной.

Для моделей развертывания с включенным кешированием результаты могут быть возвращены непосредственно из кеша вывода.

Запрос

POST _ml/trained_models/<model_id>/_infer POST _ml/trained_models/<deployment_id>/_infer

Параметры пути

<model_id>: (Необязательно, строка) Уникальный идентификатор обученной модели или псевдонима модели.

Если вы указываете model_id в вызове API, и модель имеет несколько развертываний, будет использоваться случайное развертывание. Если model_id совпадает с идентификатором одного из развертываний, будет использовано это развертывание.

<deployment_id>: (Необязательно, строка) Уникальный идентификатор развертывания модели.

Параметры запроса

timeout: (Необязательно, время) Управляет временем ожидания результатов вывода. По умолчанию 10 секунд.

Тело запроса

docs: (Обязательно, массив) Массив объектов, передаваемых в модель для вывода. Объекты должны содержать поля, соответствующие конфигурированному входу обученной модели. Обычно для моделей NLP имя поля — text_field. Каждое поле ввода вывода, указанное в этом свойстве, должно быть одной строкой, а не массивом строк.

inference_config

(Необязательно, объект) Настройка по умолчанию для вывода. Это может быть: regression, classification, fill_mask, ner, question_answering, text_classification, text_embedding или zero_shot_classification. Если regression или classification, оно должно соответствовать target_type базового definition.trained_model. Если fill_mask, ner, question_answering, text_classification или text_embedding; model_type должно быть pytorch. Если не указано, используется inference_config, с которого была создана модель.

Свойства inference_config

classification

(Необязательно, объект) Настройка вывода для классификации.

Свойства вывода классификации

num_top_classes: (Необязательно, целое число) Указывает количество прогнозов лучших классов для возврата. По умолчанию 0.
num_top_feature_importance_values: (Необязательно, целое число) Указывает максимальное количество значений значимости признаков на документ. По умолчанию 0, что означает, что вычисление важности признаков не выполняется.
prediction_field_type: (Необязательно, строка) Указывает тип прогнозируемого поля для записи. Допустимые значения: string, number, boolean. При предоставлении boolean 1.0 преобразуется в true, а 0.0 — в false.
results_field: (Необязательно, строка) Поле, добавляемое в входящие документы для хранения предсказания вывода. По умолчанию predicted_value.
top_classes_results_field: (Необязательно, строка) Указывает поле, в которое записываются лучшие классы. По умолчанию top_classes.

fill_mask

(Необязательно, объект) Конфигурация для задачи обработки естественного языка (NLP) fill_mask. Задача fill_mask работает с моделями, оптимизированными для действия fill mask. Например, для моделей BERT может быть предоставлен следующий текст: "Столица Франции - [MASK].". Ответ указывает на значение, наиболее вероятно заменяющее [MASK]. В этом случае наиболее вероятным токеном является paris.

Свойства вывода fill_mask

num_top_classes

(Необязательно, целое число) Количество лучших предсказанных токенов для возврата для замены маскирующего токена. По умолчанию 0.

results_field

(Необязательно, строка) Поле, которое добавляется к входящим документам для хранения предсказания вывода. По умолчанию predicted_value.

tokenization

(Необязательно, объект) Указывает токенизацию, которую необходимо выполнить, и желаемые настройки. Конфигурация токенизации по умолчанию — bert. Допустимые значения токенизации:

bert: Используйте для моделей типа BERT
deberta_v2: Используйте для моделей типа DeBERTa v2 и v3
mpnet: Используйте для моделей типа MPNet
roberta: Используйте для моделей типа RoBERTa и BART
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. xlm_roberta: Используйте для моделей типа XLMRoBERTa
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. bert_ja: Используйте для моделей типа BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация типа BERT должна выполняться с указанными настройками.

Свойства bert

truncate

(Необязательно, строка) Указывает, как усекаются токены, когда они превышают max_sequence_length. Значение по умолчанию — first.

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

Для zero_shot_classification гипотетическая последовательность всегда является второй последовательностью. Поэтому не используйте second в этом случае.

deberta_v2

(Необязательно, объект) Токенизация типа DeBERTa должна выполняться с указанными настройками.

Свойства deberta_v2

truncate

balanced: Одна или обе из первой и второй последовательностей могут быть усечены, чтобы сбалансировать токены, включенные из обеих последовательностей.
none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

roberta

(Необязательно, объект) Токенизация типа RoBERTa должна выполняться с указанными настройками.

Свойства roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

mpnet

(Необязательно, объект) Токенизация типа MPNet должна выполняться с указанными настройками.

Свойства mpnet

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

xlm_roberta

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа XLMRoBERTa должна выполняться с указанными настройками.

Свойства xlm_roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

bert_ja

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа BERT для японского текста должна выполняться с указанными настройками.

Свойства bert_ja

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

ner

(Необязательно, объект) Настраивает задачу распознавания именованных сущностей (NER). NER — это частный случай классификации токенов. Каждый токен в последовательности классифицируется в соответствии с предоставленными метками классификации. В настоящее время задача NER требует меток в формате classification_labels Inside-Outside-Beginning (IOB). Поддерживаются только person, organization, location и miscellaneous.

Свойства вывода NER

results_field

(Необязательно, строка) Поле, добавляемое к входящим документам для хранения прогноза вывода. По умолчанию — predicted_value.

tokenization

(Необязательно, объект) Указывает на токенизацию, которую необходимо выполнить, и желаемые параметры. Конфигурация токенизации по умолчанию — bert. Допустимые значения токенизации:

bert: Используйте для моделей в стиле BERT
deberta_v2: Используйте для моделей в стиле DeBERTa v2 и v3
mpnet: Используйте для моделей в стиле MPNet
roberta: Используйте для моделей в стиле RoBERTa и BART
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. xlm_roberta: Используйте для моделей в стиле XLMRoBERTa
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. bert_ja: Используйте для моделей в стиле BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация в стиле BERT должна выполняться с указанными параметрами.

Свойства bert

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

deberta_v2

(Необязательно, объект) Токенизация в стиле DeBERTa должна выполняться с указанными параметрами.

Свойства deberta_v2

truncate

balanced: Одна или обе из первой и второй последовательностей могут быть усечены, чтобы сбалансировать токены, включенные из обеих последовательностей.
none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

roberta

(Необязательно, объект) Токенизация в стиле RoBERTa должна выполняться с указанными параметрами.

Свойства roberta

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

mpnet

(Необязательно, объект) Токенизация в стиле MPNet должна выполняться с указанными параметрами.

Свойства mpnet

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

xlm_roberta

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация в стиле XLMRoBERTa должна выполняться с указанными параметрами.

Свойства xlm_roberta

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

bert_ja

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация в стиле BERT для японского текста должна выполняться с указанными параметрами.

Свойства bert_ja

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

(Необязательно, объект) Настраивает задачу pass_through. Эта задача полезна для отладки, поскольку пост-обработка выходных данных вывода не выполняется, и результаты слоя объединения в сыром виде возвращаются вызывающему объекту.

Свойства вывода pass_through

results_field

(Необязательно, строка) Поле, добавляемое к входящим документам для хранения прогноза вывода. По умолчанию используется predicted_value.

tokenization

(Необязательно, объект) Указывает, какую токенизацию следует выполнить и желаемые параметры. Конфигурация токенизации по умолчанию — bert. Допустимые значения токенизации:

bert: Используйте для моделей типа BERT
deberta_v2: Используйте для моделей типа DeBERTa v2 и v3
mpnet: Используйте для моделей типа MPNet
roberta: Используйте для моделей типа RoBERTa и BART
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. xlm_roberta: Используйте для моделей типа XLMRoBERTa
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. bert_ja: Используйте для моделей типа BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация типа BERT должна выполняться с указанными параметрами.

Свойства bert

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

Для zero_shot_classification, гипотетическая последовательность всегда является второй последовательностью. Поэтому не используйте second в этом случае.

deberta_v2

(Необязательно, объект) Токенизация типа DeBERTa должна выполняться с указанными параметрами.

Свойства deberta_v2

truncate

balanced: Одна или обе из первой и второй последовательностей могут быть усечены, чтобы сбалансировать токены, включенные из обеих последовательностей.
none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

roberta

(Необязательно, объект) Токенизация типа RoBERTa должна выполняться с указанными параметрами.

Свойства roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

mpnet

(Необязательно, объект) Токенизация типа MPNet должна выполняться с указанными параметрами.

Свойства mpnet

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

xlm_roberta

Свойства xlm_roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

bert_ja

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа BERT для японского текста должна выполняться с указанными параметрами.

Свойства bert_ja

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

question_answering

(Необязательно, объект) Настраивает задачу обработки естественного языка (NLP) для ответа на вопросы. Ответы на вопросы полезны для извлечения ответов на определённые вопросы из большого корпуса текста.

Свойства вывода для ответа на вопросы

max_answer_length

(Необязательно, целое число) Максимальное количество слов в ответе. По умолчанию 15.

num_top_classes

(Необязательно, целое число) Количество возвращаемых лучших ответов. По умолчанию 0, что означает возврат только лучшего ответа.

question

(Обязательно, строка) Вопрос, используемый для извлечения ответа.

results_field

(Необязательно, строка) Поле, добавляемое в поступающие документы для хранения прогноза вывода. По умолчанию predicted_value.

tokenization

(Необязательно, объект) Указывает на токенизацию и желаемые настройки. Конфигурация по умолчанию для токенизации - bert. Допустимые значения токенизации:

bert: Используется для моделей типа BERT.
deberta_v2: Используется для моделей типа DeBERTa v2 и v3.
mpnet: Используется для моделей типа MPNet.
roberta: Используется для моделей типа RoBERTa и BART.
[preview] Данная функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над устранением проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. xlm_roberta: Используется для моделей типа XLMRoBERTa.
[preview] Данная функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над устранением проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. bert_ja: Используется для моделей типа BERT, обученных для японского языка.

Рекомендуется установить max_sequence_length на 386 с 128 значения span и установить truncate на none.

Свойства токенизации

bert

(Необязательно, объект) Токенизация в стиле BERT должна выполняться с указанными настройками.

Свойства bert

span

(Необязательно, целое число) Когда truncate равно none, вы можете разделить более длинные текстовые последовательности для вывода. Значение указывает, сколько токенов перекрываются между каждой подпоследовательностью.

Значение по умолчанию — -1, что означает отсутствие оконного или охватывающего действия.

Если ваш типичный входной текст немного больше, чем max_sequence_length, лучше просто усечь его; во второй подпоследовательности будет очень мало информации.

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

Для zero_shot_classification последовательность гипотезы всегда является второй последовательностью. Поэтому не используйте second в этом случае.

deberta_v2

(Необязательно, объект) Токенизация в стиле DeBERTa должна выполняться с указанными настройками.

Свойства deberta_v2

span

Значение по умолчанию — -1, что означает отсутствие оконного или охватывающего действия.

truncate

balanced: Одна или обе из первой и второй последовательностей могут быть усечены для балансировки токенов, включенных из обеих последовательностей.
none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

roberta

(Необязательно, объект) Токенизация в стиле RoBERTa должна выполняться с указанными настройками.

Свойства roberta

span

Значение по умолчанию — -1, что означает отсутствие оконного или охватывающего действия.

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

mpnet

(Необязательно, объект) Токенизация в стиле MPNet должна выполняться с указанными настройками.

Свойства mpnet

span

Значение по умолчанию — -1, что означает отсутствие оконного или охватывающего действия.

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

xlm_roberta

(Необязательно, объект) [preview] Эта функция находится в стадии технической предварительной оценки и может быть изменена или удалена в будущих выпусках. Elastic будет работать над исправлением любых проблем, но функции в технической предварительной оценке не подлежат SLA поддержки официальных функций GA. Токенизация в стиле XLMRoBERTa должна выполняться с указанными настройками.

Свойства xlm_roberta

span

Значение по умолчанию — -1, что означает отсутствие оконного или охватывающего действия.

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, она усекается.

bert_ja

(Необязательно, объект) [preview] Эта функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над устранением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. Токенизация в стиле BERT для японского текста должна выполняться с указанными настройками.

Свойства bert_ja

span

(Необязательно, целое число) Когда truncate равен none, вы можете разбить более длинные последовательности текста для вывода. Значение указывает, сколько токенов перекрывается между каждой подпоследовательностью.

Значение по умолчанию — -1, что означает отсутствие окон или перекрытий.

Когда ваш типичный ввод чуть больше, чем max_sequence_length, лучше просто его усечь; во второй подпоследовательности будет очень мало информации.

truncate

(Необязательно, строка) Указывает, как обрезаются токены, когда они превышают max_sequence_length. Значение по умолчанию — first.

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, эта последовательность усекается.

regression

(Необязательно, объект) Настройка регрессии для вывода.

Свойства вывода регрессии

num_top_feature_importance_values: (Необязательно, целое число) Указывает максимальное количество значений важности признаков на документ. По умолчанию равно нулю, и вычисление важности признаков не выполняется.
results_field: (Необязательно, строка) Поле, добавляемое в входящие документы для хранения прогноза вывода. По умолчанию — predicted_value.

text_classification

(Необязательно, объект) Задача классификации текста. Классификация текста классифицирует предоставленную последовательность текста по заранее известным целевым классам. Конкретным примером является анализ настроений, который возвращает вероятные целевые классы, указывающие на настроение текста, такие как «печаль», «радость» или «гнев».

Свойства вывода классификации текста

classification_labels

(Необязательно, строка) Массив меток классификации.

num_top_classes

(Необязательно, целое число) Указывает количество прогнозов по верхним классам для возврата. По умолчанию — все классы (-1).

results_field

(Необязательно, строка) Поле, добавляемое в входящие документы для хранения прогноза вывода. По умолчанию — predicted_value.

tokenization

(Необязательно, объект) Указывает токенизацию для выполнения и желаемые настройки. Настройка токенизации по умолчанию — bert. Допустимые значения токенизации —

bert: Используется для моделей в стиле BERT
deberta_v2: Используется для моделей в стиле DeBERTa v2 и v3
mpnet: Используется для моделей в стиле MPNet
roberta: Используется для моделей в стиле RoBERTa и BART
[preview] Эта функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над устранением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. xlm_roberta: Используется для моделей в стиле XLMRoBERTa
[preview] Эта функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над устранением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. bert_ja: Используется для моделей в стиле BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация в стиле BERT должна выполняться с указанными настройками.

Свойства bert

span

(Необязательно, целое число) Если truncate равно none, можно разделить более длинные текстовые последовательности для вывода. Значение указывает, сколько токенов перекрывается между каждой подпоследовательностью.

Значение по умолчанию - -1, что означает отсутствие окон или перекрытий.

Если ваш типичный вход всего лишь немного больше, чем max_sequence_length, лучше просто обрезать; во второй подпоследовательности будет очень мало информации.

truncate

(Необязательно, строка) Указывает, как обрезаются токены, когда они превышают max_sequence_length. Значение по умолчанию - first.

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, эта последовательность обрезается.

deberta_v2

(Необязательно, объект) Токенизация в стиле DeBERTa должна выполняться с указанными настройками.

Свойства deberta_v2

span

Значение по умолчанию - -1, что означает отсутствие окон или перекрытий.

truncate

balanced: Одна или обе первые и вторые последовательности могут быть обрезаны для балансировки токенов, включенных из обеих последовательностей.
none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, эта последовательность обрезается.

roberta

(Необязательно, объект) Токенизация в стиле RoBERTa должна выполняться с указанными настройками.

Свойства roberta

span

Значение по умолчанию - -1, что означает отсутствие окон или перекрытий.

truncate

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, эта последовательность обрезается.

mpnet

(Необязательно, объект) Токенизация в стиле MPNet должна выполняться с указанными настройками.

Свойства mpnet

span

Значение по умолчанию - -1, что означает отсутствие окон или перекрытий.

truncate

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, эта последовательность обрезается.

xlm_roberta

(Необязательно, объект) [preview] Данная функция находится на стадии технического предварительного просмотра и может быть изменена или удалена в будущих версиях. Elastic будет работать над исправлением любых проблем, но функции предварительного просмотра не подпадают под SLA поддержки официальных функций GA. Токенизация в стиле XLMRoBERTa должна выполняться с указанными настройками.

Свойства xlm_roberta

span

Значение по умолчанию - -1, что означает отсутствие окон или перекрытий.

truncate

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, эта последовательность обрезается.

bert_ja

(Необязательный, объект) [preview] Данная функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих выпусках. Elastic будет работать над устранением любых проблем, но функции технического предварительного просмотра не подпадают под SLA поддержки официальных функций GA. Токенизация текста на японском языке в стиле BERT должна выполняться с указанными настройками.

Свойства bert_ja

span

(Необязательное, целое число) Когда truncate равно none, вы можете разбить более длинные последовательности текста для вывода. Значение указывает, сколько токенов перекрывается между каждой подпоследовательностью.

Значение по умолчанию — -1, что указывает на отсутствие оконного режима или перекрытия.

Когда типичный входной текст немного больше, чем max_sequence_length, лучше просто выполнить усечение; во второй подпоследовательности будет очень мало информации.

truncate

(Необязательный, строка) Указывает, как обрезаются токены, когда они превышают max_sequence_length. Значение по умолчанию — first.

none: Усечение не выполняется; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если имеется только одна последовательность, эта последовательность усекается.

text_embedding

(Объект, необязательно) Встраивание текста принимает входную последовательность и преобразует её в вектор чисел. Эти встраивания отражают не просто токены, но и семантические значения и контекст. Эти встраивания могут использоваться в поле dense vector для получения мощных аналитических данных.

Свойства вывода text_embedding

results_field

(Необязательно, строка) Поле, которое добавляется к входящим документам для хранения прогноза вывода. По умолчанию используется predicted_value.

tokenization

bert: Используйте для моделей типа BERT
deberta_v2: Используйте для моделей типа DeBERTa v2 и v3
mpnet: Используйте для моделей типа MPNet
roberta: Используйте для моделей типа RoBERTa и BART
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. xlm_roberta: Используйте для моделей типа XLMRoBERTa
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. bert_ja: Используйте для моделей типа BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация типа BERT должна выполняться с указанными параметрами.

Свойства bert

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

Для zero_shot_classification последовательность гипотез всегда является второй последовательностью. Поэтому не используйте second в этом случае.

deberta_v2

(Необязательно, объект) Токенизация типа DeBERTa должна выполняться с указанными параметрами.

Свойства deberta_v2

truncate

balanced: Одна или обе из первой и второй последовательностей могут быть усечены, чтобы сбалансировать токены, включенные из обеих последовательностей.
none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

roberta

(Необязательно, объект) Токенизация типа RoBERTa должна выполняться с указанными параметрами.

Свойства roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

mpnet

(Необязательно, объект) Токенизация типа MPNet должна выполняться с указанными параметрами.

Свойства mpnet

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

xlm_roberta

Свойства xlm_roberta

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

bert_ja

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа BERT для японского текста должна выполняться с указанными параметрами.

Свойства bert_ja

truncate

none: Усечение не происходит; запрос вывода получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

text_similarity

(Объект, необязательно) Сходство текста принимает на вход последовательность и сравнивает ее с другой последовательностью ввода. Это обычно называется кросс-кодированием. Эта задача полезна для ранжирования текстов документов при сравнении их с другим предоставленным текстовым вводом.

Свойства вывода text_similarity

span_score_combination_function

(Необязательно, строка) Определяет, как объединить результирующий балл схожести, когда предоставленный фрагмент текста длиннее, чем max_sequence_length и должен быть автоматически разделен для нескольких вызовов. Это применимо только тогда, когда truncate является none, а span — неотрицательным числом. Значение по умолчанию — max. Доступные варианты:

max: Возвращается максимальный балл из всех участков.
mean: Возвращается средний балл по всем участкам.

text

(Обязательно, строка) Это текст, с которым сравниваются все предоставленные текстовые входные данные документов.

tokenization

(Необязательно, объект) Указывает токенизацию для выполнения и желаемые настройки. Настройка токенизации по умолчанию — bert. Допустимые значения токенизации:

bert: Использовать для моделей BERT-стиля
deberta_v2: Использовать для моделей DeBERTa v2 и v3-стиля
mpnet: Использовать для моделей MPNet-стиля
roberta: Использовать для моделей RoBERTa-стиля и BART-стиля
[preview] Данная функция находится в техническом предварительном просмотре и может быть изменена или удалена в будущей версии. Elastic будет работать над исправлением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. xlm_roberta: Использовать для моделей XLMRoBERTa-стиля
[preview] Данная функция находится в техническом предварительном просмотре и может быть изменена или удалена в будущей версии. Elastic будет работать над исправлением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. bert_ja: Использовать для моделей BERT-стиля, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация в стиле BERT выполняется с указанными настройками.

Свойства bert

span

(Необязательно, целое число) Когда truncate равен none, можно разбить более длинные текстовые последовательности для вывода. Значение указывает, сколько токенов перекрывается между каждой подпоследовательностью.

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

Когда ваш типичный входной текст немного больше, чем max_sequence_length, лучше просто усечь; во второй подпоследовательности будет очень мало информации.

with_special_tokens

(Необязательно, логическое значение) Токенизировать со специальными токенами. Обычно в токенизации в стиле BERT используются следующие токены:

[CLS]: Первый токен классифицируемой последовательности.
[SEP]: Указывает разделение последовательностей.

deberta_v2

(Необязательно, объект) Токенизация в стиле DeBERTa выполняется с указанными настройками.

Свойства deberta_v2

span

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

with_special_tokens

[CLS]: Первый токен классифицируемой последовательности.
[SEP]: Указывает разделение последовательностей.

roberta

(Необязательно, объект) Токенизация в стиле RoBERTa выполняется с указанными настройками.

Свойства roberta

span

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

truncate

(Необязательно, строка) Указывает, как обрезаются токены, когда они превышают max_sequence_length. Значение по умолчанию равно first.

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, она обрезается.

mpnet

(Необязательно, объект) Токенизация в стиле MPNet выполняется с указанными настройками.

Свойства mpnet

span

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

truncate

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, она обрезается.

xlm_roberta

(Необязательно, объект) [preview] Данная функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над исправлением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. Токенизация в стиле XLMRoBERTa выполняется с указанными настройками.

Свойства xlm_roberta

span

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

truncate

none: Обрезка не выполняется; запрос вывода получает ошибку.
first: Обрезается только первая последовательность.
second: Обрезается только вторая последовательность. Если последовательность одна, она обрезается.

bert_ja

(Необязательно, объект) [preview] Данная функциональность находится в техническом предварительном просмотре и может быть изменена или удалена в будущих версиях. Elastic будет работать над исправлением любых проблем, но функции в техническом предварительном просмотре не подпадают под SLA поддержки официальных функций GA. Токенизация в стиле BERT для японского текста выполняется с указанными настройками.

Свойства bert_ja

span

Значение по умолчанию равно -1, что означает отсутствие окон или перекрытий.

with_special_tokens

(Необязательно, логическое значение) Токенизировать со специальными токенами, если true.

zero_shot_classification

(Объект, необязательно) Настраивает задачу классификации с нулевым выстрелом. Классификация с нулевым выстрелом позволяет выполнять классификацию текста без предварительно определенных меток. Во время вывода можно настроить метки для классификации. Это делает этот тип модели и задачи исключительно гибким.

Если постоянно классифицируются одни и те же метки, лучше использовать точную модель классификации текста.

Свойства вывода zero_shot_classification

labels

(Необязательно, массив) Метки для классификации. Могут быть установлены при создании для меток по умолчанию, а затем обновлены во время вывода.

multi_label

(Необязательно, логическое) Указывает, возможна ли более чем одна метка true с учетом входных данных. Это полезно при маркировке текста, который может относиться к нескольким входным меткам. По умолчанию используется false.

results_field

(Необязательно, строка) Поле, добавляемое во входящие документы для хранения прогноза вывода. По умолчанию используется predicted_value.

tokenization

(Необязательно, объект) Указывает на токенизацию, которую необходимо выполнить, и желаемые настройки. Конфигурация токенизации по умолчанию — bert. Допустимые значения токенизации:

bert: Используется для моделей типа BERT
deberta_v2: Используется для моделей типа DeBERTa v2 и v3
mpnet: Используется для моделей типа MPNet
roberta: Используется для моделей типа RoBERTa и BART
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. xlm_roberta: Используется для моделей типа XLMRoBERTa
[preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. bert_ja: Используется для моделей типа BERT, обученных для японского языка.

Свойства токенизации

bert

(Необязательно, объект) Токенизация типа BERT выполняется с указанными настройками.

Свойства bert

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

deberta_v2

(Необязательно, объект) Токенизация типа DeBERTa выполняется с указанными настройками.

Свойства deberta_v2

truncate

balanced: Одна или обе первая и вторая последовательности могут быть усечены, чтобы сбалансировать токены, включенные из обеих последовательностей.
none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

roberta

(Необязательно, объект) Токенизация типа RoBERTa выполняется с указанными настройками.

Свойства roberta

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

mpnet

(Необязательно, объект) Токенизация типа MPNet выполняется с указанными настройками.

Свойства mpnet

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

xlm_roberta

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа XLMRoBERTa выполняется с указанными настройками.

Свойства xlm_roberta

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

bert_ja

(Необязательно, объект) [preview] This functionality is in technical preview and may be changed or removed in a future release. Elastic will work to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. Токенизация типа BERT для японского текста выполняется с указанными настройками.

Свойства bert_ja

truncate

none: Усечение не происходит; запрос на вывод получает ошибку.
first: Усекается только первая последовательность.
second: Усекается только вторая последовательность. Если есть только одна последовательность, усекается она.

Примеры

Ответ зависит от типа модели.

Например, для определения языка ответ — это предсказанный язык и оценка:

resp = client.ml.infer_trained_model(
    model_id="lang_ident_model_1",
    docs=[
        {
            "text": "The fool doth think he is wise, but the wise man knows himself to be a fool."
        }
    ],
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'lang_ident_model_1',
  body: {
    docs: [
      {
        text: 'The fool doth think he is wise, but the wise man knows himself to be a fool.'
      }
    ]
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "lang_ident_model_1",
  docs: [
    {
      text: "The fool doth think he is wise, but the wise man knows himself to be a fool.",
    },
  ],
});
console.log(response);

POST _ml/trained_models/lang_ident_model_1/_infer
{
  "docs":[{"text": "The fool doth think he is wise, but the wise man knows himself to be a fool."}]
}

Вот результаты, предсказывающие английский язык с высокой вероятностью.

{
  "inference_results": [
    {
      "predicted_value": "en",
      "prediction_probability": 0.9999658805366392,
      "prediction_score": 0.9999658805366392
    }
  ]
}

Когда используется модель классификации текста, ответ — это оценка и предсказанная классификация.

Например:

resp = client.ml.infer_trained_model(
    model_id="model2",
    docs=[
        {
            "text_field": "The movie was awesome!!"
        }
    ],
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'model2',
  body: {
    docs: [
      {
        text_field: 'The movie was awesome!!'
      }
    ]
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "model2",
  docs: [
    {
      text_field: "The movie was awesome!!",
    },
  ],
});
console.log(response);

POST _ml/trained_models/model2/_infer
{
	"docs": [{"text_field": "The movie was awesome!!"}]
}

API возвращает предсказанное метку и уверенность.

{
  "inference_results": [{
    "predicted_value" : "POSITIVE",
    "prediction_probability" : 0.9998667964092964
  }]
}

Для моделей распознавания именованных сущностей (NER) ответ содержит анотированный текст и распознанные сущности.

resp = client.ml.infer_trained_model(
    model_id="model2",
    docs=[
        {
            "text_field": "Hi my name is Josh and I live in Berlin"
        }
    ],
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'model2',
  body: {
    docs: [
      {
        text_field: 'Hi my name is Josh and I live in Berlin'
      }
    ]
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "model2",
  docs: [
    {
      text_field: "Hi my name is Josh and I live in Berlin",
    },
  ],
});
console.log(response);

POST _ml/trained_models/model2/_infer
{
	"docs": [{"text_field": "Hi my name is Josh and I live in Berlin"}]
}

В этом случае API возвращает:

{
  "inference_results": [{
    "predicted_value" : "Hi my name is [Josh](PER&Josh) and I live in [Berlin](LOC&Berlin)",
    "entities" : [
      {
        "entity" : "Josh",
        "class_name" : "PER",
        "class_probability" : 0.9977303419824,
        "start_pos" : 14,
        "end_pos" : 18
      },
      {
        "entity" : "Berlin",
        "class_name" : "LOC",
        "class_probability" : 0.9992474323902818,
        "start_pos" : 33,
        "end_pos" : 39
      }
    ]
  }]
}

Модели классификации без предварительных знаний требуют дополнительной настройки, определяющей метки классов. Эти метки передаются в конфигурацию вывода без предварительных знаний.

resp = client.ml.infer_trained_model(
    model_id="model2",
    docs=[
        {
            "text_field": "This is a very happy person"
        }
    ],
    inference_config={
        "zero_shot_classification": {
            "labels": [
                "glad",
                "sad",
                "bad",
                "rad"
            ],
            "multi_label": False
        }
    },
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'model2',
  body: {
    docs: [
      {
        text_field: 'This is a very happy person'
      }
    ],
    inference_config: {
      zero_shot_classification: {
        labels: [
          'glad',
          'sad',
          'bad',
          'rad'
        ],
        multi_label: false
      }
    }
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "model2",
  docs: [
    {
      text_field: "This is a very happy person",
    },
  ],
  inference_config: {
    zero_shot_classification: {
      labels: ["glad", "sad", "bad", "rad"],
      multi_label: false,
    },
  },
});
console.log(response);

POST _ml/trained_models/model2/_infer
{
  "docs": [
    {
      "text_field": "This is a very happy person"
    }
  ],
  "inference_config": {
    "zero_shot_classification": {
      "labels": [
        "glad",
        "sad",
        "bad",
        "rad"
      ],
      "multi_label": false
    }
  }
}

API возвращает предсказанную метку и уверенность, а также лучшие классы:

{
  "inference_results": [{
    "predicted_value" : "glad",
    "top_classes" : [
      {
        "class_name" : "glad",
        "class_probability" : 0.8061155063386439,
        "class_score" : 0.8061155063386439
      },
      {
        "class_name" : "rad",
        "class_probability" : 0.18218006158387956,
        "class_score" : 0.18218006158387956
      },
      {
        "class_name" : "bad",
        "class_probability" : 0.006325615787634201,
        "class_score" : 0.006325615787634201
      },
      {
        "class_name" : "sad",
        "class_probability" : 0.0053788162898424545,
        "class_score" : 0.0053788162898424545
      }
    ],
    "prediction_probability" : 0.8061155063386439
  }]
}

Модели ответов на вопросы требуют дополнительной настройки, определяющей вопрос для ответа.

resp = client.ml.infer_trained_model(
    model_id="model2",
    docs=[
        {
            "text_field": "<long text to extract answer>"
        }
    ],
    inference_config={
        "question_answering": {
            "question": "<question to be answered>"
        }
    },
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'model2',
  body: {
    docs: [
      {
        text_field: '<long text to extract answer>'
      }
    ],
    inference_config: {
      question_answering: {
        question: '<question to be answered>'
      }
    }
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "model2",
  docs: [
    {
      text_field: "<long text to extract answer>",
    },
  ],
  inference_config: {
    question_answering: {
      question: "<question to be answered>",
    },
  },
});
console.log(response);

POST _ml/trained_models/model2/_infer
{
  "docs": [
    {
      "text_field": "<long text to extract answer>"
    }
  ],
  "inference_config": {
    "question_answering": {
      "question": "<question to be answered>"
    }
  }
}

API возвращает ответ, похожий на следующий:

{
    "predicted_value": <string subsection of the text that is the answer>,
    "start_offset": <character offset in document to start>,
    "end_offset": <character offset end of the answer,
    "prediction_probability": <prediction score>
}

Для моделей сходства текста требуется как минимум две последовательности текста для сравнения. Можно предоставить несколько строк текста для сравнения с другой последовательностью текста:

resp = client.ml.infer_trained_model(
    model_id="cross-encoder__ms-marco-tinybert-l-2-v2",
    docs=[
        {
            "text_field": "Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers."
        },
        {
            "text_field": "New York City is famous for the Metropolitan Museum of Art."
        }
    ],
    inference_config={
        "text_similarity": {
            "text": "How many people live in Berlin?"
        }
    },
)
print(resp)

const response = await client.ml.inferTrainedModel({
  model_id: "cross-encoder__ms-marco-tinybert-l-2-v2",
  docs: [
    {
      text_field:
        "Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.",
    },
    {
      text_field: "New York City is famous for the Metropolitan Museum of Art.",
    },
  ],
  inference_config: {
    text_similarity: {
      text: "How many people live in Berlin?",
    },
  },
});
console.log(response);

POST _ml/trained_models/cross-encoder__ms-marco-tinybert-l-2-v2/_infer
{
  "docs":[{ "text_field": "Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers."}, {"text_field": "New York City is famous for the Metropolitan Museum of Art."}],
  "inference_config": {
    "text_similarity": {
      "text": "How many people live in Berlin?"
    }
  }
}

Ответ содержит прогноз для каждой строки, которая сравнивается с текстом, предоставленным в поле text_similarity.text:

{
  "inference_results": [
    {
      "predicted_value": 7.235751628875732
    },
    {
      "predicted_value": -11.562295913696289
    }
  ]
}

Вариант обрезки токенизации можно переопределить при вызове API:

resp = client.ml.infer_trained_model(
    model_id="model2",
    docs=[
        {
            "text_field": "The Amazon rainforest covers most of the Amazon basin in South America"
        }
    ],
    inference_config={
        "ner": {
            "tokenization": {
                "bert": {
                    "truncate": "first"
                }
            }
        }
    },
)
print(resp)

response = client.ml.infer_trained_model(
  model_id: 'model2',
  body: {
    docs: [
      {
        text_field: 'The Amazon rainforest covers most of the Amazon basin in South America'
      }
    ],
    inference_config: {
      ner: {
        tokenization: {
          bert: {
            truncate: 'first'
          }
        }
      }
    }
  }
)
puts response

const response = await client.ml.inferTrainedModel({
  model_id: "model2",
  docs: [
    {
      text_field:
        "The Amazon rainforest covers most of the Amazon basin in South America",
    },
  ],
  inference_config: {
    ner: {
      tokenization: {
        bert: {
          truncate: "first",
        },
      },
    },
  },
});
console.log(response);

POST _ml/trained_models/model2/_infer
{
  "docs": [{"text_field": "The Amazon rainforest covers most of the Amazon basin in South America"}],
  "inference_config": {
    "ner": {
      "tokenization": {
        "bert": {
          "truncate": "first"
        }
      }
    }
  }
}

Если вход был усечен из-за ограничения, наложенного моделью, в ответе появляется поле max_sequence_length.is_truncated.

{
  "inference_results": [{
    "predicted_value" : "The [Amazon](LOC&Amazon) rainforest covers most of the [Amazon](LOC&Amazon) basin in [South America](LOC&South+America)",
    "entities" : [
      {
        "entity" : "Amazon",
        "class_name" : "LOC",
        "class_probability" : 0.9505460915724254,
        "start_pos" : 4,
        "end_pos" : 10
      },
      {
        "entity" : "Amazon",
        "class_name" : "LOC",
        "class_probability" : 0.9969992804311777,
        "start_pos" : 41,
        "end_pos" : 47
      }
    ],
    "is_truncated" : true
  }]
}

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/infer-trained-model.html