tf.experimental.tensorrt.ConversionParams

Параметры, используемые для преобразования TF-TRT.

tf.experimental.tensorrt.ConversionParams(
    rewriter_config_template=None,
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32, minimum_segment_size=3,
    is_dynamic_op=True, maximum_cached_engines=1, use_calibration=True,
    max_batch_size=1, allow_build_at_runtime=True
)

Поля:

• rewriter_config_template: шаблон RewriterConfig proto, используемый для создания TRT-совместимого RewriterConfig. Если None, будет использоваться значение по умолчанию.
• max_workspace_size_bytes: максимальный объём оперативной памяти на GPU, который может использовать движок TRT во время выполнения. Соответствует параметру 'workspaceSize' nvinfer1::IBuilder::setMaxWorkspaceSize().
• precision_mode: одна из строк в TrtPrecisionMode.supported_precision_modes().
• minimum_segment_size: минимальное количество узлов, необходимое для замены подграфа оператором TRTEngineOp.
• is_dynamic_op: генерировать ли динамические операции TRT, которые будут строить сеть и движок TRT во время выполнения. Т.к. версии TensorRT < 6.0 не поддерживают динамические размеры, кроме размера пакета, при наличии в графе TensorFlow динамических размеров не-пакетных размеров, необходимо включить этот параметр. Этот параметр должен быть установлен в True в TF 2.0.
• maximum_cached_engines: максимальное количество кэшированных движков TRT для динамических операций TRT. Созданные движки TRT для динамического размера кэшируются. Это максимальное количество кэшированных движков. Если количество кэшированных движков достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp вернётся к выполнению исходного подграфа TF, соответствующего TRTEngineOp.
• use_calibration: этот аргумент игнорируется, если precision_mode не равен INT8. Если установлено в True, будет создана калибровочная графа для калибровки отсутствующих диапазонов. Калибровочная графа должна быть преобразована в графу вывода путём запуска калибровки с помощью calibrate(). Если установлено в False, для каждого тензора в графе (за исключением тех, которые будут объединены) будут ожидаться узлы квантования. Если диапазон отсутствует, произойдёт ошибка. Обратите внимание, что точность может быть негативно затронута, если есть несоответствие между тензорами, которые TRT квантует, и тензорами, с которыми обучались фейковые операции квантования.
• max_batch_size: максимальный размер пакета входных данных. Этот параметр эффективен только когда is_dynamic_op=False, что не поддерживается в TF 2.0.
• allow_build_at_runtime: строить ли движки TensorRT во время выполнения. Если во время выполнения в кэше не найдётся движка TensorRT, который может обработать заданные входные данные, то новый движок TensorRT строится во время выполнения, если allow_build_at_runtime=True, в противном случае используется обычный TF. Этот аргумент эффективен только если is_dynamic_op=True.