tf.experimental.tensorrt.Converter

Оффлайн-конвертер для преобразования TF-TRT для сохранённых моделей TF 2.0.

tf.experimental.tensorrt.Converter(
    input_saved_model_dir=None,
    input_saved_model_tags=None,
    input_saved_model_signature_key=None,
    use_dynamic_shape=None,
    dynamic_shape_profile_strategy=None,
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True,
    conversion_params=None
)

Поддержка Windows предоставляется экспериментально. Нет никаких гарантий относительно функциональности или технической поддержки. Используйте на свой страх и риск.

Существует несколько способов выполнения преобразования:

1. Точность FP32/FP16

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16')
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   converter.save(output_saved_model_dir)
   

   В этом случае TRT-движки не будут созданы или сохранены в преобразованной сохранённой модели. Но если данные входных данных доступны во время преобразования, мы всё равно можем создать и сохранить TRT-движки, чтобы уменьшить затраты во время вывода (см. вариант 2 ниже).

2. Точность FP32/FP16 с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16',
       # Set this to a large enough number so it can cache all the engines.
       maximum_cached_engines=16)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   
   # Define a generator function that yields input data, and use it to execute
   # the graph to build TRT engines.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.build(input_fn=my_input_fn)  # Generate corresponding TRT engines
   converter.save(output_saved_model_dir)  # Generated engines will be saved.
   

   Таким образом, один движок будет создан/сохранён для каждой уникальной формы входных данных TRTEngineOp. Это хорошо подходит для приложений, которые не могут позволить себе создание движков во время вывода, но имеют доступ к входным данным, аналогичным тем, которые используются в производстве (например, с теми же формами входных данных). Кроме того, созданные TRT-движки зависят от платформы, поэтому нам нужно запустить build() в среде, аналогичной производственной (например, с тем же типом GPU).

3. Точность INT8 и калибровка с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='INT8',
       # Currently only one INT8 engine is supported in this mode.
       maximum_cached_engines=1,
       use_calibration=True)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   
   # Define a generator function that yields input data, and run INT8
   # calibration with the data. All input data should have the same shape.
   # At the end of convert(), the calibration stats (e.g. range information)
   # will be saved and can be used to generate more TRT engines with different
   # shapes. Also, one TRT engine will be generated (with the same shape as
   # the calibration data) for save later.
   def my_calibration_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.convert(calibration_input_fn=my_calibration_input_fn)
   
   # (Optional) Generate more TRT engines offline (same as the previous
   # option), to avoid the cost of generating them during inference.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   converter.build(input_fn=my_input_fn)
   
   # Save the TRT engine and the engines.
   converter.save(output_saved_model_dir)
   

4. Для использования динамической формы необходимо вызвать метод build с функцией входных данных для генерации профилей. Этот шаг аналогичен шагу калибровки INT8, описанному выше. Конвертер также должен быть создан с use_dynamic_shape=True и одним из следующих стратегий профилей для создания профилей на основе входных данных, полученных функцией входных данных:

   • Range: создать один профиль, который работает для входных данных с значениями размерности в диапазоне [min_dims, max_dims], где min_dims и max_dims выводятся из предоставленных входных данных.
   • Optimal: создать один профиль для каждого входного значения. Профиль работает только для входных данных с такими же размерностями, как для входных данных, для которых он создан. Движок GPU будет работать с оптимальной производительностью с такими входными данными.
   • Range+Optimal: создать профили для Range и Optimal.
   • ImplicitBatchModeCompatible: создать профили, которые будут генерировать такие же движки GPU, как и implicit_batch_mode.

Методы

build

Просмотреть исходный код

build(
    input_fn
)

Выполнить вывод с преобразованным графиком для создания TensorRT-движков.

convert

Просмотреть исходный код

convert(
    calibration_input_fn=None
)

Преобразовать входную сохранённую модель в формате 2.0.

save

Просмотреть исходный код

save(
    output_saved_model_dir, save_gpu_specific_engines=True
)

Сохранить преобразованную сохранённую модель.

summary

Просмотреть исходный код

summary(
    line_length=160, detailed=True, print_fn=None
)

Этот метод описывает результаты преобразования TF-TRT.

Он включает информацию, такую как имя движка, количество узлов на движок, тип данных входных и выходных данных, а также форму входных данных каждого TRTEngineOp.