tf.lite.Interpreter

Интерфейс интерпретатора для выполнения моделей TensorFlow Lite.

tf.lite.Interpreter(
    model_path=None,
    model_content=None,
    experimental_delegates=None,
    num_threads=None,
    experimental_op_resolver_type=tf.lite.experimental.OpResolverType.AUTO,
    experimental_preserve_all_tensors=False
)

Модели, полученные из TfLiteConverter, могут быть выполнены в Python с помощью Interpreter.

В качестве примера давайте сгенерируем простую модель Keras и преобразуем её в TFLite (TfLiteConverter также поддерживает другие форматы входных данных с from_saved_model и from_concrete_function)

x = np.array([[1.], [2.]])
y = np.array([[2.], [4.]])
model = tf.keras.models.Sequential([
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(units=1, input_shape=[1])
        ])
model.compile(optimizer='sgd', loss='mean_squared_error')
model.fit(x, y, epochs=1)
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

tflite_model можно сохранить в файл и загрузить позже или напрямую в Interpreter. Поскольку TensorFlow Lite заранее планирует выделение памяти для тензоров, чтобы оптимизировать вывод, пользователь должен вызвать allocate_tensors() перед любым выводом.

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()  # Needed before execution!

Пример выполнения:

output = interpreter.get_output_details()[0]  # Model has single output.
input = interpreter.get_input_details()[0]  # Model has single input.
input_data = tf.constant(1., shape=[1, 1])
interpreter.set_tensor(input['index'], input_data)
interpreter.invoke()
interpreter.get_tensor(output['index']).shape
(1, 1)

Используйте get_signature_runner() для более удобного API вывода.

Методы

allocate_tensors

Просмотреть исходный код

allocate_tensors()

get_input_details

Просмотреть исходный код

get_input_details()

Получение деталей входного тензора модели.

get_output_details

Просмотреть исходный код

get_output_details()

Получение деталей выходного тензора модели.

get_signature_list

Просмотреть исходный код

get_signature_list()

Получение списка SignatureDefs в модели.

Пример,

signatures = interpreter.get_signature_list()
print(signatures)

# {
#   'add': {'inputs': ['x', 'y'], 'outputs': ['output_0']}
# }

Then using the names in the signature list you can get a callable from
get_signature_runner().

get_signature_runner

Просмотреть исходный код

get_signature_runner(
    signature_key=None
)

Получение вызываемого объекта для вывода определённого SignatureDef.

Пример использования,

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()
fn = interpreter.get_signature_runner('div_with_remainder')
output = fn(x=np.array([3]), y=np.array([2]))
print(output)
# {
#   'quotient': array([1.], dtype=float32)
#   'remainder': array([1.], dtype=float32)
# }

None можно передать для signature_key, если модель содержит только одну подпись.

Все используемые имена — это имена конкретного SignatureDef.

get_tensor

Просмотреть исходный код

get_tensor(
    tensor_index
)

Получение значения выходного тензора (получение копии).

Если вы хотите избежать копирования, используйте tensor(). Эта функция не может использоваться для чтения промежуточных результатов.

get_tensor_details

Просмотреть исходный код

get_tensor_details()

Получение деталей тензора для каждого тензора с действительными деталями тензора.

Тензоры, для которых не найдена необходимая информация о тензоре, не добавляются в список. Это включает временные тензоры без имени.

invoke

Просмотреть исходный код

invoke()

Вызов интерпретатора.

Убедитесь, что вы установили размеры входов, выделили тензоры и заполнили значения перед вызовом этого метода. Также обратите внимание, что эта функция освобождает GIL, поэтому сложные вычисления могут выполняться в фоновом режиме, в то время как интерпретатор Python продолжает работу. Никакие другие функции этого объекта не должны вызываться, пока вызов invoke() не завершится.

reset_all_variables

Просмотреть исходный код

reset_all_variables()

resize_tensor_input

Просмотреть исходный код

resize_tensor_input(
    input_index, tensor_size, strict=False
)

Изменяет размер входного тензора.

Использование:

interpreter = Interpreter(model_content=tflite_model)
interpreter.resize_tensor_input(0, [num_test_images, 224, 224, 3])
interpreter.allocate_tensors()
interpreter.set_tensor(0, test_images)
interpreter.invoke()

set_tensor

Просмотреть исходный код

set_tensor(
    tensor_index, value
)

Устанавливает значение входного тензора.

Обратите внимание, что данные копируются в value.

Если вы хотите избежать копирования, вы можете использовать функцию tensor() для получения буфера numpy, указывающего на буфер входных данных в интерпретаторе tflite.

tensor

Просмотреть исходный код

tensor(
    tensor_index
)

Возвращает функцию, которая предоставляет представление numpy текущего буфера тензора.

Это позволяет читать и записывать в эти тензоры без копирования. Это более точно отражает интерфейс члена tensor() класса C++ Interpreter, отсюда и название. Будьте осторожны, чтобы не удерживать эти ссылки на выходные данные после вызовов allocate_tensors() и invoke(). Эта функция не может использоваться для чтения промежуточных результатов.

Использование:

interpreter.allocate_tensors()
input = interpreter.tensor(interpreter.get_input_details()[0]["index"])
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])
for i in range(10):
  input().fill(3.)
  interpreter.invoke()
  print("inference %s" % output())

Обратите внимание, как эта функция избегает создания массива numpy напрямую. Это важно, чтобы не удерживать фактические представления numpy на данных дольше, чем необходимо. Если вы это сделаете, интерпретатор больше не сможет быть вызван, так как существует возможность, что интерпретатор изменит размер и сделает ссылки на тензоры недействительными. NumPy API не допускает каких-либо изменений в базовых буферах.

НЕПРАВИЛЬНО:

input = interpreter.tensor(interpreter.get_input_details()[0]["index"])()
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])()
interpreter.allocate_tensors()  # This will throw RuntimeError
for i in range(10):
  input.fill(3.)
  interpreter.invoke()  # this will throw RuntimeError since input,output