tf.experimental.tensorrt.ConversionParams

Параметры, используемые для преобразования TF-TRT.

tf.experimental.tensorrt.ConversionParams(
    rewriter_config_template=None,
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32, minimum_segment_size=3,
    is_dynamic_op=True, maximum_cached_engines=1, use_calibration=True,
    max_batch_size=1, allow_build_at_runtime=True
)

Поля:

• rewriter_config_template: шаблон прото RewriterConfig, используемый для создания RewriterConfig с поддержкой TRT. Если None, будет использоваться значение по умолчанию.
• max_workspace_size_bytes: максимальный объем оперативной памяти на GPU, который может использовать движок TRT во время выполнения. Соответствует параметру 'workspaceSize' метода nvinfer1::IBuilder::setMaxWorkspaceSize().
• precision_mode: одна из строк в TrtPrecisionMode.supported_precision_modes().
• minimum_segment_size: минимальное количество узлов, необходимое для замены подграфа оператором TRTEngineOp.
• is_dynamic_op: нужно ли генерировать динамические операторы TRT, которые будут строить сеть и движок TRT во время выполнения. Т.к. версии TensorRT < 6.0 не поддерживают динамические размерности, кроме размерности пакета, при наличии в графе TensorFlow динамической размерности, отличной от размерности пакета, необходимо включить этот параметр. Этот параметр должен быть установлен в True в TF 2.0.
• maximum_cached_engines: максимальное количество кэшированных движков TRT для динамических операций TRT. Созданные движки TRT для динамической размерности кэшируются. Это максимальное количество кэшированных движков. Если число кэшированных движков уже достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp вернётся к запуску исходного подграфа TF, соответствующего TRTEngineOp.
• use_calibration: этот аргумент игнорируется, если precision_mode не INT8. Если установлен в True, будет создана калибровочная графа для калибровки недостающих диапазонов. Калибровочная графа должна быть преобразована в инференсную графу путём выполнения калибровки с помощью метода calibrate(). Если установлен в False, узлы квантования ожидаются для каждого тензора в графе (исключая те, которые будут объединены). Если диапазон отсутствует, произойдет ошибка. Обратите внимание, что точность может быть отрицательно затронута, если есть несоответствие между тензорами, которые TRT квантует, и тензорами, которые обучались с помощью фейк-квантования.
• max_batch_size: максимальный размер входного пакета. Этот параметр эффективен только при use_implicit_batch = true.
• allow_build_at_runtime: нужно ли создавать движки TensorRT во время выполнения. Если во время выполнения не найдется движка TensorRT в кэше, который может обработать данные, новый движок TensorRT будет создан во время выполнения, если allow_build_at_runtime=True, в противном случае будет использован исходный TF. Этот аргумент эффективен только если is_dynamic_op=True.