tf.keras.optimizers.schedules.CosineDecay

LearningRateSchedule, использующий косинусное затухание с необязательным разогревом.

Наследует от: LearningRateSchedule

tf.keras.optimizers.schedules.CosineDecay(
    initial_learning_rate,
    decay_steps,
    alpha=0.0,
    name='CosineDecay',
    warmup_target=None,
    warmup_steps=0
)

См. Loshchilov & Hutter, ICLR2016, SGDR: Stochastic Gradient Descent with Warm Restarts.

Описание идеи линейного разогрева скорости обучения см. в работе Goyal et al..

В начале обучения модели часто требуется сначала повысить скорость обучения, а затем постепенно снижать её. Если warmup_target — целое число, этот план линейно повышает скорость обучения на каждом шаге оптимизатора от initial_learning_rate до warmup_target в течение warmup_steps. Затем он применяет функцию косинусного затухания, снижая скорость обучения от warmup_target до alpha в течение decay_steps. Если warmup_target равно None, разогрев пропускается, а скорость обучения снижается от initial_learning_rate до alpha. Для вычисления скорости обучения требуется значение step. Можно передавать переменную бэкенда, значение которой увеличивается на каждом шаге обучения.

Этот план представляет собой вызываемый объект с одним аргументом: при передаче текущего шага оптимизатора он сначала выполняет разогрев, а затем возвращает скорость обучения с затуханием. Это может быть полезно, если требуется изменять значение скорости обучения при разных вызовах функций оптимизатора.

Разогрев вычисляется следующим образом:

def warmup_learning_rate(step):
    completed_fraction = step / warmup_steps
    total_delta = target_warmup - initial_learning_rate
    return completed_fraction * total_delta

Затухание вычисляется следующим образом:

if warmup_target is None:
    initial_decay_lr = initial_learning_rate
else:
    initial_decay_lr = warmup_target

def decayed_learning_rate(step):
    step = min(step, decay_steps)
    cosine_decay = 0.5 * (1 + cos(pi * step / decay_steps))
    decayed = (1 - alpha) * cosine_decay + alpha
    return initial_decay_lr * decayed

Пример использования без разогрева:

decay_steps = 1000
initial_learning_rate = 0.1
lr_decayed_fn = keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps)

Пример использования с разогревом:

decay_steps = 1000
initial_learning_rate = 0
warmup_steps = 1000
target_learning_rate = 0.1
lr_warmup_decayed_fn = keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps, warmup_target=target_learning_rate,
    warmup_steps=warmup_steps
)

Этот план можно передать непосредственно в keras.optimizers.Optimizer в качестве скорости обучения. План скорости обучения также можно сериализовать и десериализовать с помощью keras.optimizers.schedules.serialize и keras.optimizers.schedules.deserialize.

Методы

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт экземпляр LearningRateSchedule на основе его конфигурации.

get_config

Посмотреть исходный код

get_config()

__call__

Посмотреть исходный код

__call__(
    step
)

Вызывает self как функцию.