tf.keras.callbacks.BackupAndRestore

Обработчик для резервного копирования и восстановления состояния обучения.

Наследуется от: Callback

tf.keras.callbacks.BackupAndRestore(
    backup_dir
)

BackupAndRestore обработчик предназначен для восстановления обучения после прерывания в середине выполнения Model.fit, резервируя состояния обучения в временном файле контрольной точки (с помощью tf.train.CheckpointManager) в конце каждой эпохи. Каждое резервное копирование перезаписывает предыдущий файл контрольной точки, поэтому в любой момент времени существует не более одного такого файла контрольной точки для целей резервного копирования/восстановления.

Если обучение перезапускается до завершения, состояние обучения (включая Model веса и номер эпохи) восстанавливается до последнего сохраненного состояния в начале нового выполнения Model.fit. По завершении выполнения Model.fit временный файл контрольной точки удаляется.

Обратите внимание, что пользователь отвечает за возобновление работы после прерывания. Этот обработчик важен для механизма резервного копирования и восстановления для обеспечения отказоустойчивости, и ожидается, что модель, которая должна быть восстановлена из предыдущей контрольной точки, будет такой же, как и та, которая использовалась для резервного копирования. Если пользователь изменяет аргументы, передаваемые в compile или fit, сохраненная для обеспечения отказоустойчивости контрольная точка может стать недействительной.

Примечание:

1. Этот обработчик несовместим с отключенным выполнением в режиме eager.
2. Контрольная точка сохраняется в конце каждой эпохи. После восстановления Model.fit повторно выполняет любую частичную работу в незавершенной эпохе, в которой возобновлялось обучение (поэтому работа, выполненная до прерывания, не влияет на конечное состояние модели).
3. Это работает как для однопоточного, так и для многопоточного режимов. При использовании Model.fit с tf.distribute, он поддерживает tf.distribute.MirroredStrategy, tf.distribute.MultiWorkerMirroredStrategy, tf.distribute.TPUStrategy и tf.distribute.experimental.ParameterServerStrategy.

Пример:

class InterruptingCallback(tf.keras.callbacks.Callback):
  def on_epoch_begin(self, epoch, logs=None):
    if epoch == 4:
      raise RuntimeError('Interrupting!')
callback = tf.keras.callbacks.BackupAndRestore(backup_dir="/tmp/backup")
model = tf.keras.models.Sequential([tf.keras.layers.Dense(10)])
model.compile(tf.keras.optimizers.SGD(), loss='mse')
try:
  model.fit(np.arange(100).reshape(5, 20), np.zeros(5), epochs=10,
            batch_size=1, callbacks=[callback, InterruptingCallback()],
            verbose=0)
except:
  pass
history = model.fit(np.arange(100).reshape(5, 20), np.zeros(5), epochs=10,
            batch_size=1, callbacks=[callback], verbose=0)
# Only 6 more epochs are run, since first trainning got interrupted at
# zero-indexed epoch 4, second training will continue from 4 to 9.
len(history.history['loss'])
6

Методы

set_model

Просмотреть исходный код

set_model(
    model
)

set_params

Просмотреть исходный код

set_params(
    params
)