tf.experimental.tensorrt.Converter

Оффлайн-конвертер для преобразования TF-TRT для сохранённых моделей TF 2.0.

tf.experimental.tensorrt.Converter(
    input_saved_model_dir=None,
    input_saved_model_tags=None,
    input_saved_model_signature_key=None,
    use_dynamic_shape=None,
    dynamic_shape_profile_strategy=None,
    max_workspace_size_bytes=DEFAULT_TRT_MAX_WORKSPACE_SIZE_BYTES,
    precision_mode=TrtPrecisionMode.FP32,
    minimum_segment_size=3,
    maximum_cached_engines=1,
    use_calibration=True,
    allow_build_at_runtime=True,
    conversion_params=None
)

Поддержка Windows предоставляется экспериментально. Нет гарантий относительно функциональности или технической поддержки. Используйте на свой страх и риск.

Существует несколько способов выполнения преобразования:

1. Точность FP32/FP16

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16')
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   converter.save(output_saved_model_dir)
   

   В этом случае TRT-движки не будут созданы или сохранены в преобразованной сохранённой модели. Но если данные ввода доступны во время преобразования, мы всё ещё можем создать и сохранить TRT-движки, чтобы снизить затраты во время вывода (см. вариант 2 ниже).

2. Точность FP32/FP16 с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16',
       # Set this to a large enough number so it can cache all the engines.
       maximum_cached_engines=16)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   
   # Define a generator function that yields input data, and use it to execute
   # the graph to build TRT engines.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.build(input_fn=my_input_fn)  # Generate corresponding TRT engines
   converter.save(output_saved_model_dir)  # Generated engines will be saved.
   

   Таким образом, один движок будет создан/сохранён для каждой уникальной формы ввода TRTEngineOp. Это подходит для приложений, которые не могут позволить себе создание движков во время вывода, но имеют доступ к входным данным, похожим на те, которые используются в производстве (например, с одинаковыми формами ввода). Кроме того, сгенерированные TRT-движки зависят от платформы, поэтому нам нужно выполнить build() в среде, аналогичной производственной (например, с тем же типом GPU).

3. Точность INT8 и калибровка с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='INT8',
       # Currently only one INT8 engine is supported in this mode.
       maximum_cached_engines=1,
       use_calibration=True)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   
   # Define a generator function that yields input data, and run INT8
   # calibration with the data. All input data should have the same shape.
   # At the end of convert(), the calibration stats (e.g. range information)
   # will be saved and can be used to generate more TRT engines with different
   # shapes. Also, one TRT engine will be generated (with the same shape as
   # the calibration data) for save later.
   def my_calibration_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.convert(calibration_input_fn=my_calibration_input_fn)
   
   # (Optional) Generate more TRT engines offline (same as the previous
   # option), to avoid the cost of generating them during inference.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   converter.build(input_fn=my_input_fn)
   
   # Save the TRT engine and the engines.
   converter.save(output_saved_model_dir)
   

4. Для использования динамической формы нам необходимо вызвать метод build с функцией ввода для генерации профилей. Этот шаг аналогичен шагу калибровки INT8, описанному выше. Конвертер также должен быть создан с use_dynamic_shape=True и одним из следующих стратегий профилей для создания профилей на основе входных данных, полученных от функции ввода:

   • Range: создать один профиль, который работает для входов с значениями размерности в диапазоне [min_dims, max_dims], где min_dims и max_dims получены из предоставленных входов.
   • Optimal: создать один профиль для каждого входа. Профиль работает только для входов с такими же размерностями, как и вход, для которого он создан. Движок GPU будет работать с оптимальной производительностью с такими входами.
   • Range+Optimal: создать профили как для Range, так и для Optimal.

Методы

build

Перейти к исходному коду

build(
    input_fn
)

Выполнить вывод с преобразованным графом, чтобы создать движки TensorRT.

Если преобразование требует калибровки INT8, то ссылка на функцию калибровки хранится во время вызова convert(). Калибровка будет выполнена во время создания движков TensorRT.

convert

Перейти к исходному коду

convert(
    calibration_input_fn=None
)

Преобразовать входную сохранённую модель в формате 2.0.

save

Перейти к исходному коду

save(
    output_saved_model_dir, save_gpu_specific_engines=True, options=None
)

Сохранить преобразованную SavedModel.

summary

Перейти к исходному коду

summary(
    line_length=160, detailed=True, print_fn=None
)

Этот метод описывает результаты преобразования TF-TRT.

Он содержит информацию, такую как имя движка, количество узлов на движок, тип данных ввода и вывода, а также форму ввода каждого TRTEngineOp.