tf.keras.optimizers.schedules.ExponentialDecay

График изменения скорости обучения, использующий экспоненциальное затухание.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate, decay_steps, decay_rate, staircase=False, name=None
)

При обучении модели часто рекомендуется снижать скорость обучения по мере прогресса обучения. Этот график применяет экспоненциальную функцию затухания к шагу оптимизатора, исходя из заданной начальной скорости обучения.

График — это вызываемый объект с 1 аргументом, который возвращает значение затухающей скорости обучения, когда ему передаётся текущий шаг оптимизатора. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора. Оно вычисляется следующим образом:

def decayed_learning_rate(step):
  return initial_learning_rate * decay_rate ^ (step / decay_steps)

Если аргумент staircase равен True, то step / decay_steps — это целочисленное деление, и затухающая скорость обучения следует пошаговой функции.

Вы можете передать этот график напрямую в tf.keras.optimizers.Optimizer в качестве скорости обучения. Пример: при подгонке модели Keras затухание происходит каждые 100000 шагов с основанием 0,96:

initial_learning_rate = 0.1
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=100000,
    decay_rate=0.96,
    staircase=True)

model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_schedule),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

График изменения скорости обучения также можно сериализовать и десериализовать с помощью tf.keras.optimizers.schedules.serialize и tf.keras.optimizers.schedules.deserialize.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт экземпляр LearningRateSchedule из его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызывает себя как функцию.