tf.lite.Interpreter

Интерфейс интерпретатора для запуска моделей TensorFlow Lite.

tf.lite.Interpreter(
    model_path=None,
    model_content=None,
    experimental_delegates=None,
    num_threads=None,
    experimental_op_resolver_type=tf.lite.experimental.OpResolverType.AUTO,
    experimental_preserve_all_tensors=False,
    experimental_disable_delegate_clustering=False
)

Используется в блокнотах

Модели, полученные из TfLiteConverter, можно запускать в Python с помощью Interpreter.

Например, создадим простую модель Keras и преобразуем ее в TFLite (TfLiteConverter также поддерживает другие входные форматы с помощью from_saved_model и from_concrete_function).

x = np.array([[1.], [2.]])
y = np.array([[2.], [4.]])
model = tf.keras.models.Sequential([
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(units=1, input_shape=[1])
        ])
model.compile(optimizer='sgd', loss='mean_squared_error')
model.fit(x, y, epochs=1)
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

tflite_model можно сохранить в файл и загрузить позже либо сразу загрузить в Interpreter. Поскольку TensorFlow Lite заранее планирует выделение тензоров для оптимизации инференса, перед инференсом необходимо вызвать allocate_tensors().

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()  # Needed before execution!

Пример выполнения:

output = interpreter.get_output_details()[0]  # Model has single output.
input = interpreter.get_input_details()[0]  # Model has single input.
input_data = tf.constant(1., shape=[1, 1])
interpreter.set_tensor(input['index'], input_data)
interpreter.invoke()
interpreter.get_tensor(output['index']).shape
(1, 1)

Для более удобного API инференса используйте get_signature_runner().

Методы

allocate_tensors

Просмотреть исходный код

allocate_tensors()

get_input_details

Просмотреть исходный код

get_input_details()

Возвращает сведения о входных тензорах модели.

get_output_details

Просмотреть исходный код

get_output_details()

Возвращает сведения о выходных тензорах модели.

get_signature_list

Просмотреть исходный код

get_signature_list()

Возвращает список SignatureDef в модели.

Например:

signatures = interpreter.get_signature_list()
print(signatures)

# {
#   'add': {'inputs': ['x', 'y'], 'outputs': ['output_0']}
# }

Then using the names in the signature list you can get a callable from
get_signature_runner().

get_signature_runner

Просмотреть исходный код

get_signature_runner(
    signature_key=None
)

Возвращает вызываемый объект для инференса с конкретным SignatureDef.

Пример использования:

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()
fn = interpreter.get_signature_runner('div_with_remainder')
output = fn(x=np.array([3]), y=np.array([2]))
print(output)
# {
#   'quotient': array([1.], dtype=float32)
#   'remainder': array([1.], dtype=float32)
# }

Если модель содержит только одну сигнатуру, для signature_key можно передать None.

Используются имена, заданные в этом SignatureDef.

get_tensor

Просмотреть исходный код

get_tensor(
    tensor_index, subgraph_index=0
)

Возвращает значение выходного тензора (создает копию).

Чтобы избежать копирования, используйте tensor(). Эту функцию нельзя использовать для чтения промежуточных результатов.

get_tensor_details

Просмотреть исходный код

get_tensor_details()

Возвращает сведения обо всех тензорах, для которых доступны корректные сведения.

Тензоры, для которых не удалось найти необходимые сведения, в список не добавляются. К ним относятся временные тензоры без имени.

invoke

Просмотреть исходный код

invoke()

Запускает интерпретатор.

Перед вызовом этого метода задайте размеры входных данных, выделите тензоры и заполните их значениями. Также обратите внимание: эта функция освобождает GIL, поэтому ресурсоемкие вычисления могут выполняться в фоновом режиме, пока интерпретатор Python продолжает работу. Пока вызов invoke() не завершен, нельзя вызывать другие функции этого объекта.

reset_all_variables

Просмотреть исходный код

reset_all_variables()

resize_tensor_input

Просмотреть исходный код

resize_tensor_input(
    input_index, tensor_size, strict=False
)

Изменяет размер входного тензора.

Использование:

interpreter = Interpreter(model_content=tflite_model)
interpreter.resize_tensor_input(0, [num_test_images, 224, 224, 3])
interpreter.allocate_tensors()
interpreter.set_tensor(0, test_images)
interpreter.invoke()

set_tensor

Просмотреть исходный код

set_tensor(
    tensor_index, value
)

Задает значение входного тензора.

Обратите внимание: данные копируются в value.

Чтобы избежать копирования, можно использовать функцию tensor() для получения буфера NumPy, указывающего на входной буфер в интерпретаторе tflite.

tensor

Просмотреть исходный код

tensor(
    tensor_index
)

Возвращает функцию, предоставляющую представление текущего буфера тензора в NumPy.

Это позволяет читать и записывать данные этого тензора без копирования. По названию и назначению метод близок к члену tensor() интерфейса класса C++ Interpreter. Не сохраняйте ссылки на выходные данные после вызовов allocate_tensors() и invoke(). Эту функцию нельзя использовать для чтения промежуточных результатов.

Использование:

interpreter.allocate_tensors()
input = interpreter.tensor(interpreter.get_input_details()[0]["index"])
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])
for i in range(10):
  input().fill(3.)
  interpreter.invoke()
  print("inference %s" % output())

Обратите внимание, что эта функция не создает массив NumPy напрямую. Важно не удерживать представления NumPy данных дольше, чем это необходимо. Иначе интерпретатор нельзя будет запустить, поскольку он может изменить размер тензоров и сделать ссылки на них недействительными. API NumPy не позволяет изменять базовые буферы.

НЕПРАВИЛЬНО:

input = interpreter.tensor(interpreter.get_input_details()[0]["index"])()
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])()
interpreter.allocate_tensors()  # This will throw RuntimeError
for i in range(10):
  input.fill(3.)
  interpreter.invoke()  # this will throw RuntimeError since input,output