tf.keras.optimizers.schedules.ExponentialDecay

Расписание LearningRateSchedule, использующее экспоненциальное затухание.

Наследует: LearningRateSchedule

tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps,
    decay_rate,
    staircase=False,
    name='ExponentialDecay'
)

Используется в блокнотах

При обучении модели часто полезно снижать скорость обучения по мере продвижения обучения. Это расписание применяет функцию экспоненциального затухания к шагу оптимизатора, используя заданную начальную скорость обучения.

Это расписание представляет собой вызываемый объект с одним аргументом, который при передаче текущего шага оптимизатора возвращает скорость обучения с затуханием. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора. Она вычисляется следующим образом:

def decayed_learning_rate(step):
    return initial_learning_rate * decay_rate ^ (step / decay_steps)

Если аргумент staircase равен True, то step / decay_steps представляет собой целочисленное деление, и скорость обучения с затуханием изменяется ступенчато.

Это расписание можно передать непосредственно в keras.optimizers.Optimizer в качестве скорости обучения. Пример: при обучении модели Keras применять затухание каждые 100000 шагов с базовым значением 0.96:

initial_learning_rate = 0.1
lr_schedule = keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=100000,
    decay_rate=0.96,
    staircase=True)

model.compile(optimizer=keras.optimizers.SGD(learning_rate=lr_schedule),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

Расписание скорости обучения также можно сериализовать и десериализовать с помощью keras.optimizers.schedules.serialize и keras.optimizers.schedules.deserialize.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает экземпляр LearningRateSchedule на основе его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызов self как функции.