tf.keras.optimizers.schedules.CosineDecayRestarts

LearningRateSchedule, использующий расписание косинусного затухания с перезапусками.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.CosineDecayRestarts(
    initial_learning_rate,
    first_decay_steps,
    t_mul=2.0,
    m_mul=1.0,
    alpha=0.0,
    name='SGDRDecay'
)

См. Loshchilov & Hutter, ICLR2016, SGDR: стохастический градиентный спуск с тёплыми перезапусками.

При обучении модели часто полезно снижать скорость обучения по мере продвижения обучения. Это расписание применяет функцию косинусного затухания с перезапусками к шагу оптимизатора, используя заданную начальную скорость обучения. Для вычисления затухающей скорости обучения требуется значение step. Можно просто передать переменную бэкенда, увеличивая её на каждом шаге обучения.

Расписание представляет собой вызываемый объект с одним аргументом, который возвращает затухающую скорость обучения при передаче текущего шага оптимизатора. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.

Множитель скорости обучения сначала затухает от 1 до alpha за first_decay_steps шагов. Затем выполняется тёплый перезапуск. Каждый следующий тёплый перезапуск длится в t_mul раз больше шагов, а новая скорость обучения составляет m_mul от начальной скорости обучения.

Пример:

first_decay_steps = 1000
lr_decayed_fn = (
    keras.optimizers.schedules.CosineDecayRestarts(
        initial_learning_rate,
        first_decay_steps))

Это расписание можно напрямую передать в keras.optimizers.Optimizer в качестве скорости обучения. Расписание скорости обучения также можно сериализовать и десериализовать с помощью keras.optimizers.schedules.serialize и keras.optimizers.schedules.deserialize.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт экземпляр LearningRateSchedule на основе его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызов объекта как функции.