Spec-Zone.ru › TensorFlow

tf.experimental.tensorrt.ConversionParams

Параметры, используемые для преобразования TF-TRT.

tf.experimental.tensorrt.ConversionParams(
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True
)
Поля
max_workspace_size_bytes максимальный объём временной памяти GPU, который движок TRT может использовать во время выполнения. Соответствует параметру 'workspaceSize' метода nvinfer1::IBuilder::setMaxWorkspaceSize().
precision_mode одна из строк, возвращаемых TrtPrecisionMode.supported_precision_modes().
minimum_segment_size минимальное количество узлов, необходимое для замены подграфа на TRTEngineOp.
maximum_cached_engines максимальное количество кэшируемых движков TRT для динамических операций TRT. Созданные движки TRT для динамического измерения кэшируются. Если количество кэшированных движков уже достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp будет выполнять исходный подграф TF, соответствующий TRTEngineOp.
use_calibration этот аргумент игнорируется, если precision_mode не равен INT8. Если установлено значение True, будет создан граф калибровки для калибровки отсутствующих диапазонов. Граф калибровки необходимо преобразовать в граф вывода, выполнив калибровку с помощью calibrate(). Если установлено значение False, для каждого тензора в графе (за исключением тех, которые будут объединены) должны присутствовать узлы квантования. Если диапазон отсутствует, возникнет ошибка. Обратите внимание, что точность может снизиться, если тензоры, квантуемые TRT, не совпадают с тензорами, обученными с фиктивным квантованием.
allow_build_at_runtime разрешено ли создавать движки TensorRT во время выполнения: если во время выполнения не найден предварительно собранный движок TensorRT, способный обрабатывать заданные входные данные, новый движок TensorRT создаётся во время выполнения при allow_build_at_runtime=True; в противном случае используется нативная реализация TF.
Атрибуты
max_workspace_size_bytes Псевдоним namedtuple для поля с номером 0
precision_mode Псевдоним namedtuple для поля с номером 1
minimum_segment_size Псевдоним namedtuple для поля с номером 2
maximum_cached_engines Псевдоним namedtuple для поля с номером 3
use_calibration Псевдоним namedtuple для поля с номером 4
allow_build_at_runtime Псевдоним namedtuple для поля с номером 5

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/tensorrt/ConversionParams

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API