tf.experimental.tensorrt.Converter

Конвертер для преобразования TF-TRT для сохранённых моделей TF 2.0.

tf.experimental.tensorrt.Converter(
    input_saved_model_dir=None, input_saved_model_tags=None,
    input_saved_model_signature_key=None, conversion_params=None
)

В настоящее время эта функция недоступна на платформе Windows.

Обратите внимание, что в версии V2 параметр is_dynamic_op=False не поддерживается, что означает, что движки TRT будут создаваться только при выполнении соответствующего оператора TRTEngineOp. Но мы по-прежнему предоставляем способ избежать затрат на создание движков TRT во время вывода (см. подробнее ниже).

Есть несколько способов выполнить преобразование:

1. Точность FP32/FP16

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16')
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   converter.save(output_saved_model_dir)
   

   В этом случае движки TRT не будут создаваться или сохраняться в преобразованной SavedModel. Однако, если входные данные доступны во время преобразования, мы по-прежнему можем создать и сохранить движки TRT, чтобы снизить затраты во время вывода (см. вариант 2 ниже).

2. Точность FP32/FP16 с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='FP16',
       # Set this to a large enough number so it can cache all the engines.
       maximum_cached_engines=16)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   converter.convert()
   
   # Define a generator function that yields input data, and use it to execute
   # the graph to build TRT engines.
   # With TensorRT 5.1, different engines will be built (and saved later) for
   # different input shapes to the TRTEngineOp.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.build(input_fn=my_input_fn)  # Generate corresponding TRT engines
   converter.save(output_saved_model_dir)  # Generated engines will be saved.
   

   Таким образом, для каждого уникального набора входных форм оператора TRTEngineOp будет создан/сохранён один движок. Это хорошо подходит для приложений, которые не могут позволить себе создавать движки во время вывода, но имеют доступ к входным данным, аналогичным тем, которые используются в производстве (например, имеющим те же входные формы). Кроме того, сгенерированные движки TRT зависят от платформы, поэтому нам необходимо запустить build() в среде, аналогичной производственной (например, с тем же типом графического процессора).

3. Точность INT8 и калибровка с предварительно созданными движками

   params = tf.experimental.tensorrt.ConversionParams(
       precision_mode='INT8',
       # Currently only one INT8 engine is supported in this mode.
       maximum_cached_engines=1,
       use_calibration=True)
   converter = tf.experimental.tensorrt.Converter(
       input_saved_model_dir="my_dir", conversion_params=params)
   
   # Define a generator function that yields input data, and run INT8
   # calibration with the data. All input data should have the same shape.
   # At the end of convert(), the calibration stats (e.g. range information)
   # will be saved and can be used to generate more TRT engines with different
   # shapes. Also, one TRT engine will be generated (with the same shape as
   # the calibration data) for save later.
   def my_calibration_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   
   converter.convert(calibration_input_fn=my_calibration_input_fn)
   
   # (Optional) Generate more TRT engines offline (same as the previous
   # option), to avoid the cost of generating them during inference.
   def my_input_fn():
     for _ in range(num_runs):
       inp1, inp2 = ...
       yield inp1, inp2
   converter.build(input_fn=my_input_fn)
   
   # Save the TRT engine and the engines.
   converter.save(output_saved_model_dir)
   

Методы

build

Просмотреть исходный код

build(
    input_fn
)

Выполнить вывод с преобразованным графом для построения движков TensorRT.

convert

Просмотреть исходный код

convert(
    calibration_input_fn=None
)

Преобразовать входную SavedModel в формате 2.0.

save

Просмотреть исходный код

save(
    output_saved_model_dir
)

Сохранить преобразованную SavedModel.