Spec-Zone.ru › TensorFlow

tf.experimental.tensorrt.ConversionParams

Параметры, используемые для преобразования TF-TRT.

tf.experimental.tensorrt.ConversionParams(
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True
)
Поля
max_workspace_size_bytes максимальный объём временной памяти на GPU, который может использовать движок TRT во время выполнения. Соответствует параметру 'workspaceSize' метода nvinfer1::IBuilder::setMaxWorkspaceSize().
precision_mode одна из строк в TrtPrecisionMode.supported_precision_modes().
minimum_segment_size минимальное количество узлов, необходимое для замены подграфа оператором TRTEngineOp.
maximum_cached_engines максимальное количество кэшированных движков TRT для динамических операций TRT. Созданные движки TRT для динамических размерностей кэшируются. Если количество кэшированных движков уже достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp вернётся к выполнению исходного TF-подграфа, соответствующего TRTEngineOp.
use_calibration этот аргумент игнорируется, если precision_mode не INT8. Если установлено в True, будет создана калибровочная графика для калибровки недостающих диапазонов. Калибровочная графика должна быть преобразована в график вывода путём запуска калибровки с помощью calibrate(). Если установлено в False, ожидаются узлы квантования для каждого тензора в графе (за исключением тех, которые будут объединены). Если диапазон отсутствует, произойдёт ошибка. Обратите внимание, что точность может быть ухудшена, если есть несоответствие между тензорами, квантованными TRT, и тензорами, обученными с помощью фейковой квантования.
allow_build_at_runtime разрешить построение движков TensorRT во время выполнения, если не удаётся найти предварительно построенный движок TensorRT, который может обработать заданные входные данные во время выполнения, то новый движок TensorRT будет построен во время выполнения, если allow_build_at_runtime=True, в противном случае используется базовый TF.
Атрибуты
max_workspace_size_bytes псевдоним для поля номер 0
precision_mode псевдоним для поля номер 1
minimum_segment_size псевдоним для поля номер 2
maximum_cached_engines псевдоним для поля номер 3
use_calibration псевдоним для поля номер 4
allow_build_at_runtime псевдоним для поля номер 5

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/tensorrt/ConversionParams

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API