tf.keras.callbacks.experimental.BackupAndRestore

Обратный вызов для резервного копирования и восстановления состояния обучения.

Наследуется от: Callback

tf.keras.callbacks.experimental.BackupAndRestore(
    backup_dir
)

BackupAndRestore Обратный вызов предназначен для восстановления после прерываний, произошедших в середине выполнения model.fit, создавая резервные копии состояния обучения в временном файле контрольной точки (на основе TF CheckpointManager) в конце каждой эпохи. Если обучение возобновлено до завершения, состояние обучения и модель восстанавливаются до последнего сохранённого состояния в начале нового выполнения model.fit(). Ответственность за перезапуск задач лежит на пользователе. Этот обратный вызов важен для механизма резервного копирования и восстановления с целью повышения отказоустойчивости. При этом ожидается, что модель, восстанавливаемая из предыдущей контрольной точки, будет такой же, как и та, которая использовалась для резервного копирования. Если пользователь изменяет аргументы, передаваемые в compile или fit, сохранённая для повышения отказоустойчивости контрольная точка может стать недействительной.

Примечание:

1. Этот обратный вызов несовместим с отключением выполнения в режиме eager.
2. Контрольная точка сохраняется в конце каждой эпохи. При восстановлении мы пересчитаем любую частичную работу из незавершенной эпохи, в которой обучение было возобновлено (поэтому проделанная работа до прерывания не повлияет на конечное состояние модели).
3. Это работает как для однопроцессорного, так и для многопроцессорного режима. В настоящий момент поддерживаются только MirroredStrategy и MultiWorkerMirroredStrategy.

Пример:

class InterruptingCallback(tf.keras.callbacks.Callback):
  def on_epoch_begin(self, epoch, logs=None):
    if epoch == 4:
      raise RuntimeError('Interrupting!')
callback = tf.keras.callbacks.experimental.BackupAndRestore(
backup_dir="/tmp")
model = tf.keras.models.Sequential([tf.keras.layers.Dense(10)])
model.compile(tf.keras.optimizers.SGD(), loss='mse')
try:
  model.fit(np.arange(100).reshape(5, 20), np.zeros(5), epochs=10,
            batch_size=1, callbacks=[callback, InterruptingCallback()],
            verbose=0)
except:
  pass
history = model.fit(np.arange(100).reshape(5, 20), np.zeros(5), epochs=10,
            batch_size=1, callbacks=[callback], verbose=0)
# Only 6 more epochs are run, since first trainning got interrupted at
# zero-indexed epoch 4, second training will continue from 4 to 9.
len(history.history['loss'])
6

Методы

set_model

Просмотреть исходный код

set_model(
    model
)

set_params

Просмотреть исходный код

set_params(
    params
)