tf.saved_model.load

Загрузка SavedModel из export_dir.

tf.saved_model.load(
    export_dir, tags=None, options=None
)

Использование в блокнотах

Подписи, связанные с SavedModel, доступны как функции:

imported = tf.saved_model.load(path)
f = imported.signatures["serving_default"]
print(f(x=tf.constant([[1.]])))

Объекты, экспортированные с помощью tf.saved_model.save, дополнительно имеют присвоенные к атрибутам отслеживаемые объекты и функции:

exported = tf.train.Checkpoint(v=tf.Variable(3.))
exported.f = tf.function(
    lambda x: exported.v * x,
    input_signature=[tf.TensorSpec(shape=None, dtype=tf.float32)])
tf.saved_model.save(exported, path)
imported = tf.saved_model.load(path)
assert 3. == imported.v.numpy()
assert 6. == imported.f(x=tf.constant(2.)).numpy()

Загрузка моделей Keras

Модели Keras отслеживаются, поэтому они могут быть сохранены в SavedModel. Объект, возвращаемый tf.saved_model.load, не является объектом Keras (т.е. не имеет методов .fit, .predict и т. д.). Некоторые атрибуты и функции все еще доступны: .variables, .trainable_variables и .__call__.

model = tf.keras.Model(...)
tf.saved_model.save(model, path)
imported = tf.saved_model.load(path)
outputs = imported(inputs)

Восстановите модель Keras с помощью tf.keras.models.load_model.

Импорт SavedModel из TensorFlow 1.x

API SavedModel 1.x имеет плоский граф вместо объектов tf.function. Эти SavedModel будут загружены с помощью следующих атрибутов:

• .signatures: Словарь, сопоставляющий имена подписей с функциями.

• .prune(feeds, fetches): Метод, позволяющий извлечь функции для новых подграфов. Это эквивалентно импорту SavedModel и присвоению имен входам и выходам в сеансе из TensorFlow 1.x.

  imported = tf.saved_model.load(path_to_v1_saved_model)
  pruned = imported.prune("x:0", "out:0")
  pruned(tf.ones([]))
  

  Подробности см. в tf.compat.v1.wrap_function.

• .variables: Список импортированных переменных.

• .graph: Весь импортированный граф.

• .restore(save_path): Функция восстановления переменных из контрольной точки, сохраненной из tf.compat.v1.Saver.

Асинхронное использование SavedModel

При асинхронном использовании SavedModel (производитель — это отдельный процесс) каталог SavedModel будет отображаться до завершения записи всех файлов, и tf.saved_model.load потерпит неудачу, если указан неполный SavedModel. Вместо проверки каталога проверьте наличие файла "saved_model_dir/saved_model.pb". Этот файл записывается атомарно как последний tf.saved_model.save файл операции.