tf.lite.Interpreter

Интерфейс интерпретатора для моделей TensorFlow Lite.

tf.lite.Interpreter(
    model_path=None, model_content=None, experimental_delegates=None,
    num_threads=None
)

Это делает интерпретатор TensorFlow Lite доступным в Python. Возможно использовать этот интерпретатор в многопотоковой среде Python, но необходимо убедиться, что функции конкретного экземпляра вызываются только из одного потока за раз. Таким образом, если вы хотите запустить 4 потока, выполняющие разные вычисления одновременно, создайте интерпретатор для каждого из них как локальные данные потока. Аналогично, если вы вызываете invoke() в одном потоке на одном интерпретаторе, но хотите использовать tensor() в другом потоке после завершения, необходимо использовать примитив синхронизации между потоками, чтобы убедиться, что invoke вернул значение, прежде чем вызывать tensor().

Методы

allocate_tensors

Просмотреть исходный код

allocate_tensors()

get_input_details

Просмотреть исходный код

get_input_details()

Получает данные входных данных модели.

get_output_details

Просмотреть исходный код

get_output_details()

Получает данные выходных данных модели.

get_tensor

Просмотреть исходный код

get_tensor(
    tensor_index
)

Получает значение входного тензора (копию).

Если вы хотите избежать копирования, используйте tensor(). Эта функция не может использоваться для чтения промежуточных результатов.

get_tensor_details

Просмотреть исходный код

get_tensor_details()

Получает данные тензора для каждого тензора с корректными данными тензора.

Тензоры, где не найдена необходимая информация о тензоре, не добавляются в список. Это включает временные тензоры без имени.

invoke

Просмотреть исходный код

invoke()

Вызов интерпретатора.

Убедитесь, что установлены размеры входных данных, тензоры выделены и значения заполнены, прежде чем вызывать эту функцию. Также обратите внимание, что эта функция освобождает GIL, поэтому тяжелые вычисления могут выполняться в фоновом режиме, в то время как интерпретатор Python продолжает работу. Никакие другие функции этого объекта не должны вызываться, пока вызов invoke() не завершен.

reset_all_variables

Просмотреть исходный код

reset_all_variables()

resize_tensor_input

Просмотреть исходный код

resize_tensor_input(
    input_index, tensor_size, strict=False
)

Изменяет размер входного тензора.

interpreter = Interpreter(model_content=tflite_model)
interpreter.resize_tensor_input(0, [1, 224, 224, 3], strict=True)
interpreter.allocate_tensors()
interpreter.invoke()

set_tensor

Просмотреть исходный код

set_tensor(
    tensor_index, value
)

Устанавливает значение входного тензора.

Обратите внимание, что это копирует данные в value.

Если вы хотите избежать копирования, вы можете использовать функцию tensor() для получения буфера numpy, указывающего на буфер входных данных в интерпретаторе tflite.

tensor

Просмотреть исходный код

tensor(
    tensor_index
)

Возвращает функцию, которая предоставляет представление numpy текущего буфера тензора.

Это позволяет читать и записывать в эти тензоры без копирования. Это более точно отражает интерфейс члена tensor() класса C++ Interpreter, отсюда и название. Будьте осторожны, не удерживайте эти ссылки на выходные данные через вызовы allocate_tensors() и invoke(). Эта функция не может использоваться для чтения промежуточных результатов.

Использование:

interpreter.allocate_tensors()
input = interpreter.tensor(interpreter.get_input_details()[0]["index"])
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])
for i in range(10):
  input().fill(3.)
  interpreter.invoke()
  print("inference %s" % output())

Обратите внимание, как эта функция избегает прямого создания массива numpy. Это важно, чтобы не удерживать фактические представления numpy на данных дольше, чем необходимо. Если вы это сделаете, интерпретатор больше не сможет быть вызван, так как существует вероятность, что интерпретатор изменит размер и сделает тензоры недействительными. NumPy API не допускает никаких изменений в базовых буферах.

НЕПРАВИЛЬНО:

input = interpreter.tensor(interpreter.get_input_details()[0]["index"])()
output = interpreter.tensor(interpreter.get_output_details()[0]["index"])()
interpreter.allocate_tensors()  # This will throw RuntimeError
for i in range(10):
  input.fill(3.)
  interpreter.invoke()  # this will throw RuntimeError since input,output