tf.experimental.tensorrt.ConversionParams
Параметры, используемые для преобразования TF-TRT.
tf.experimental.tensorrt.ConversionParams(
max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
precision_mode=TrtPrecisionMode.FP32,
minimum_segment_size=3,
maximum_cached_engines=1,
use_calibration=True,
allow_build_at_runtime=True
)
| Поля | |
|---|---|
max_workspace_size_bytes | максимальный объём временной памяти на GPU, который может использовать движок TRT во время выполнения. Соответствует параметру 'workspaceSize' метода nvinfer1::IBuilder::setMaxWorkspaceSize(). |
precision_mode | одна из строк в TrtPrecisionMode.supported_precision_modes(). |
minimum_segment_size | минимальное количество узлов, необходимое для замены подграфа оператором TRTEngineOp. |
maximum_cached_engines | максимальное количество кэшированных движков TRT для динамических операций TRT. Созданные движки TRT для динамических размерностей кэшируются. Если количество кэшированных движков уже достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp вернётся к выполнению исходного TF-подграфа, соответствующего TRTEngineOp. |
use_calibration | этот аргумент игнорируется, если precision_mode не INT8. Если установлено в True, будет создана калибровочная графика для калибровки недостающих диапазонов. Калибровочная графика должна быть преобразована в график вывода путём запуска калибровки с помощью calibrate(). Если установлено в False, ожидаются узлы квантования для каждого тензора в графе (за исключением тех, которые будут объединены). Если диапазон отсутствует, произойдёт ошибка. Обратите внимание, что точность может быть ухудшена, если есть несоответствие между тензорами, квантованными TRT, и тензорами, обученными с помощью фейковой квантования. |
allow_build_at_runtime | разрешить построение движков TensorRT во время выполнения, если не удаётся найти предварительно построенный движок TensorRT, который может обработать заданные входные данные во время выполнения, то новый движок TensorRT будет построен во время выполнения, если allow_build_at_runtime=True, в противном случае используется базовый TF. |
| Атрибуты | |
|---|---|
max_workspace_size_bytes | псевдоним для поля номер 0 |
precision_mode | псевдоним для поля номер 1 |
minimum_segment_size | псевдоним для поля номер 2 |
maximum_cached_engines | псевдоним для поля номер 3 |
use_calibration | псевдоним для поля номер 4 |
allow_build_at_runtime | псевдоним для поля номер 5 |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/tensorrt/ConversionParams