tf.experimental.tensorrt.Converter

Автономный конвертер для преобразования TF-TRT моделей SavedModel формата TF 2.0.

tf.experimental.tensorrt.Converter(
    input_saved_model_dir=None,
    input_saved_model_tags=None,
    input_saved_model_signature_key=None,
    use_dynamic_shape=None,
    dynamic_shape_profile_strategy=None,
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True,
    conversion_params=None
)

Поддержка Windows предоставляется в экспериментальном режиме. Функциональность и инженерная поддержка не гарантируются. Используйте на свой страх и риск.

Преобразование можно выполнить несколькими способами:

1. Точность FP32/FP16

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16')
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   converter.save(output_saved_model_dir)
   

   В этом случае механизмы TRT не будут созданы или сохранены в преобразованной модели SavedModel. Однако если во время преобразования доступны входные данные, мы всё равно можем создать и сохранить механизмы TRT, чтобы сократить затраты на этапе вывода (см. вариант 2 ниже).

2. Точность FP32/FP16 с предварительно созданными механизмами

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16',
       # Set this to a large enough number so it can cache all the engines.
       maximum_cached_engines=16)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   
   # Define a generator function that yields input data, and use it to execute
   # the graph to build TRT engines.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.build(input_fn=my_input_fn)  # Generate corresponding TRT engines
   converter.save(output_saved_model_dir)  # Generated engines will be saved.
   

   При таком подходе для каждой уникальной формы входных данных TRTEngineOp создаётся и сохраняется один механизм. Это подходит для приложений, в которых нельзя создавать механизмы во время вывода, но доступны входные данные, аналогичные используемым в рабочей среде (например, с такими же формами входных данных). Кроме того, создаваемые механизмы TRT зависят от платформы, поэтому необходимо запускать build() в среде, похожей на рабочую (например, с таким же типом GPU).

3. Точность INT8 и калибровка с предварительно созданными механизмами

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='INT8',
       # Currently only one INT8 engine is supported in this mode.
       maximum_cached_engines=1,
       use_calibration=True)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   
   # Define a generator function that yields input data, and run INT8
   # calibration with the data. All input data should have the same shape.
   # At the end of convert(), the calibration stats (e.g. range information)
   # will be saved and can be used to generate more TRT engines with different
   # shapes. Also, one TRT engine will be generated (with the same shape as
   # the calibration data) for save later.
   def my_calibration_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.convert(calibration_input_fn=my_calibration_input_fn)
   
   # (Optional) Generate more TRT engines offline (same as the previous
   # option), to avoid the cost of generating them during inference.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   converter.build(input_fn=my_input_fn)
   
   # Save the TRT engine and the engines.
   converter.save(output_saved_model_dir)
   

4. Для использования динамических форм необходимо вызвать метод build с функцией ввода, чтобы создать профили. Этот шаг аналогичен описанному выше этапу калибровки INT8. Кроме того, конвертер нужно создать с параметром use_dynamic_shape=True и одной из следующих стратегий profile_strategies, чтобы создать профили на основе данных, выдаваемых функцией ввода:

   • Range: создать один профиль, подходящий для входных данных со значениями измерений в диапазоне [min_dims, max_dims], где min_dims и max_dims определяются на основе предоставленных входных данных.
   • Optimal: создать по одному профилю для каждого входного набора данных. Профиль подходит только для входных данных с такими же измерениями, что и у набора данных, для которого он создан. При использовании таких входных данных механизм GPU будет работать с оптимальной производительностью.
   • Range+Optimal: создать профили для Range и Optimal.

Методы

build

Просмотреть исходный код

build(
    input_fn
)

Выполняет вывод с преобразованным графом для создания механизмов TensorRT.

Если для преобразования требуется калибровка INT8, ссылка на функцию калибровки сохраняется при вызове convert(). Калибровка будет выполнена во время создания механизмов TensorRT.

convert

Просмотреть исходный код

convert(
    calibration_input_fn=None
)

Преобразует входную модель SavedModel в формате 2.0.

save

Просмотреть исходный код

save(
    output_saved_model_dir, save_gpu_specific_engines=True, options=None
)

Сохраняет преобразованную модель SavedModel.

summary

Просмотреть исходный код

summary(
    line_length=160, detailed=True, print_fn=None
)

Этот метод описывает результаты преобразования TF-TRT.

Он содержит такие сведения, как имя механизма, количество узлов в каждом механизме, типы входных и выходных данных, а также форму входных данных каждого TRTEngineOp.