tf.experimental.tensorrt.ConversionParams

Параметры, используемые для преобразования TF-TRT.

tf.experimental.tensorrt.ConversionParams(
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True
)

Поля:

• max_workspace_size_bytes: максимальный объём памяти на GPU, который может использовать движок TRT во время выполнения. Соответствует параметру 'workspaceSize' nvinfer1::IBuilder::setMaxWorkspaceSize().
• precision_mode: одна из строк в TrtPrecisionMode.supported_precision_modes().
• minimum_segment_size: минимальное количество узлов, необходимое для замены подграфа оператором TRTEngineOp.
• maximum_cached_engines: максимальное количество кэшированных движков TRT для динамических операций TRT. Созданные движки TRT для динамических размеров кэшируются. Если количество кэшированных движков достигло максимума, но ни один из них не поддерживает входные формы, TRTEngineOp вернётся к выполнению исходного подграфа TensorFlow, соответствующего TRTEngineOp.
• use_calibration: этот аргумент игнорируется, если precision_mode не INT8. Если установлен в True, будет создана калибровочная графика для калибровки отсутствующих диапазонов. Калибровочная графика должна быть преобразована в график инференции путём выполнения калибровки с помощью calibrate(). Если установлен в False, узлы квантизации ожидаются для каждого тензора в графе (исключая те, которые будут объединены). Если отсутствует диапазон, произойдёт ошибка. Обратите внимание, что точность может быть негативно затронута, если есть несоответствие между тензорами, которые TRT квантизует, и тензорами, с которыми обучалась фейковая квантизация.
• allow_build_at_runtime: разрешать построение движков TensorRT во время выполнения. Если во время выполнения не может быть найден предварительно построенный движок TensorRT, который может обработать заданные входные данные, то новый движок TensorRT строится во время выполнения, если allow_build_at_runtime=True, в противном случае используется нативный TensorFlow.