tf.lite.Interpreter

Интерфейс для выполнения моделей TensorFlow Lite.

tf.lite.Interpreter(
    model_path=None,
    model_content=None,
    experimental_delegates=None,
    num_threads=None,
    experimental_op_resolver_type=tf.lite.experimental.OpResolverType.AUTO,
    experimental_preserve_all_tensors=False,
    experimental_disable_delegate_clustering=False
)

Используется в блокнотах

Модели, полученные из TfLiteConverter, могут выполняться в Python с помощью Interpreter.

В качестве примера, давайте сгенерируем простую модель Keras и преобразуем её в TFLite (TfLiteConverter также поддерживает другие форматы ввода с from_saved_model и from_concrete_function).

x = np.array([[1.], [2.]])
y = np.array([[2.], [4.]])
model = tf.keras.models.Sequential([
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(units=1, input_shape=[1])
        ])
model.compile(optimizer='sgd', loss='mean_squared_error')
model.fit(x, y, epochs=1)
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

tflite_model можно сохранить в файл и загрузить позже или напрямую в Interpreter. Поскольку TensorFlow Lite заранее планирует выделение памяти для тензоров, чтобы оптимизировать вывод, пользователю необходимо вызвать allocate_tensors() перед любым выводом.

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()  # Needed before execution!

Пример выполнения:

output = interpreter.get_output_details()[0]  # Model has single output.
input = interpreter.get_input_details()[0]  # Model has single input.
input_data = tf.constant(1., shape=[1, 1])
interpreter.set_tensor(input['index'], input_data)
interpreter.invoke()
interpreter.get_tensor(output['index']).shape
(1, 1)

Используйте get_signature_runner() для более удобного API вывода.

Методы

allocate_tensors

Просмотреть исходный код

allocate_tensors()

get_input_details

Просмотреть исходный код

get_input_details()

Получает детали входного тензора модели.

get_output_details

Просмотреть исходный код

get_output_details()

Получает детали выходного тензора модели.

get_signature_list

Просмотреть исходный код

get_signature_list()

Получает список SignatureDefs в модели.

Пример,

signatures = interpreter.get_signature_list()
print(signatures)

# {
#   'add': {'inputs': ['x', 'y'], 'outputs': ['output_0']}
# }

Then using the names in the signature list you can get a callable from
get_signature_runner().

get_signature_runner

Просмотреть исходный код

get_signature_runner(
    signature_key=None
)

Получает вызываемый для вывода определённой SignatureDef.

Пример использования,

interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()
fn = interpreter.get_signature_runner('div_with_remainder')
output = fn(x=np.array([3]), y=np.array([2]))
print(output)
# {
#   'quotient': array([1.], dtype=float32)
#   'remainder': array([1.], dtype=float32)
# }

None можно передать для signature_key, если в модели всего одна подпись.

Все используемые имена — имена этой конкретной SignatureDef.

get_tensor

Просмотреть исходный код

get_tensor(
    tensor_index, subgraph_index=0
)

Получает значение выходного тензора (копия).

Если вы хотите избежать копирования, используйте tensor(). Эта функция не может использоваться для чтения промежуточных результатов.

get_tensor_details

Просмотреть исходный код

get_tensor_details()

Получает данные тензора для каждого тензора с допустимыми данными тензора.

Тензоры, для которых требуемая информация о тензоре не найдена, не добавляются в список. Это включает временные тензоры без имени.

invoke

Просмотреть исходный код

invoke()

Вызов интерпретатора.

Убедитесь, что вы установили размеры входных данных, выделили тензоры и заполнили значения перед вызовом. Также обратите внимание, что эта функция освобождает GIL, поэтому сложные вычисления могут выполняться в фоновом режиме, в то время как интерпретатор Python продолжает работу. Никакие другие функции данного объекта не должны вызываться, пока вызов invoke() не завершится.

reset_all_variables

Просмотреть исходный код

reset_all_variables()

resize_tensor_input

Просмотреть исходный код

resize_tensor_input(
    input_index, tensor_size, strict=False
)

Изменяет размер входного тензора.

Пример использования:

interpreter = Interpreter(model_content=tflite_model)
interpreter.resize_tensor_input(0, [num_test_images, 224, 224, 3])
interpreter.allocate_tensors()
interpreter.set_tensor(0, test_images)
interpreter.invoke()

set_tensor

Просмотреть исходный код

set_tensor(
    tensor_index, value
)

Устанавливает значение входного тензора.

Обратите внимание, что данные копируются в value.

Если вы хотите избежать копирования, можете использовать функцию tensor(), чтобы получить буфер NumPy, указывающий на входной буфер в интерпретаторе tflite.

tensor

Просмотреть исходный код

tensor(
    tensor_index
)

Возвращает функцию, которая предоставляет представление NumPy текущего буфера тензора.

Это позволяет читать и записывать в эти тензоры без копий. Это более точно отражает интерфейс метода tensor() класса C++ Interpreter, отсюда и название. Будьте осторожны, чтобы не хранить эти ссылки на выходы через вызовы allocate_tensors() и invoke(). Эта функция не может использоваться для чтения промежуточных результатов.

Пример использования:

interpreter.allocate_tensors()
input = interpreter.tensor(interpreter.get_input_details()[0]["index"])
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])
for i in range(10):
  input().fill(3.)
  interpreter.invoke()
  print("inference %s" % output())

Заметьте, как эта функция избегает создания массива NumPy напрямую. Это важно, чтобы не удерживать фактические представления NumPy данных дольше, чем необходимо. Если вы это сделаете, интерпретатор больше не сможет быть вызван, потому что интерпретатор может изменить размер и сделать ссылки на тензоры недействительными. API NumPy не допускает никаких изменений в базовых буферах.

НЕПРАВИЛЬНО:

input = interpreter.tensor(interpreter.get_input_details()[0]["index"])()
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])()
interpreter.allocate_tensors()  # This will throw RuntimeError
for i in range(10):
  input.fill(3.)
  interpreter.invoke()  # this will throw RuntimeError since input,output