tf.experimental.tensorrt.ConversionParams
Параметры, используемые для преобразования TF-TRT.
tf.experimental.tensorrt.ConversionParams(
max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
precision_mode=TrtPrecisionMode.FP32,
minimum_segment_size=3,
maximum_cached_engines=1,
use_calibration=True,
allow_build_at_runtime=True
)
| Поля | |
|---|---|
max_workspace_size_bytes | максимальный объём временной памяти GPU, который движок TRT может использовать во время выполнения. Соответствует параметру 'workspaceSize' метода nvinfer1::IBuilder::setMaxWorkspaceSize(). |
precision_mode | одна из строк, возвращаемых TrtPrecisionMode.supported_precision_modes(). |
minimum_segment_size | минимальное количество узлов, необходимое для замены подграфа на TRTEngineOp. |
maximum_cached_engines | максимальное количество кэшируемых движков TRT для динамических операций TRT. Созданные движки TRT для динамического измерения кэшируются. Если количество кэшированных движков уже достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp будет выполнять исходный подграф TF, соответствующий TRTEngineOp. |
use_calibration | этот аргумент игнорируется, если precision_mode не равен INT8. Если установлено значение True, будет создан граф калибровки для калибровки отсутствующих диапазонов. Граф калибровки необходимо преобразовать в граф вывода, выполнив калибровку с помощью calibrate(). Если установлено значение False, для каждого тензора в графе (за исключением тех, которые будут объединены) должны присутствовать узлы квантования. Если диапазон отсутствует, возникнет ошибка. Обратите внимание, что точность может снизиться, если тензоры, квантуемые TRT, не совпадают с тензорами, обученными с фиктивным квантованием. |
allow_build_at_runtime | разрешено ли создавать движки TensorRT во время выполнения: если во время выполнения не найден предварительно собранный движок TensorRT, способный обрабатывать заданные входные данные, новый движок TensorRT создаётся во время выполнения при allow_build_at_runtime=True; в противном случае используется нативная реализация TF. |
| Атрибуты | |
|---|---|
max_workspace_size_bytes | Псевдоним namedtuple для поля с номером 0 |
precision_mode | Псевдоним namedtuple для поля с номером 1 |
minimum_segment_size | Псевдоним namedtuple для поля с номером 2 |
maximum_cached_engines | Псевдоним namedtuple для поля с номером 3 |
use_calibration | Псевдоним namedtuple для поля с номером 4 |
allow_build_at_runtime | Псевдоним namedtuple для поля с номером 5 |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/tensorrt/ConversionParams