tf.train.linear_cosine_decay

Применяет линейное косинусное затухание к скорости обучения.

tf.train.linear_cosine_decay(
    learning_rate, global_step, decay_steps, num_periods=0.5, alpha=0.0, beta=0.001,
    name=None
)

См. [Bello и др., ICML2017] Поиск нейронного оптимизатора с помощью RL. https://arxiv.org/abs/1709.07417

Для идеи тёплых запусков, управляемых num_periods, см. [Loshchilov & Hutter, ICLR2016] SGDR: стохастический градиентный спуск с тёплыми перезапусками. https://arxiv.org/abs/1608.03983

Обратите внимание, что линейное косинусное затухание более агрессивное, чем косинусное затухание, и, как правило, можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется снижать скорость обучения по мере прогресса обучения. Эта функция применяет линейную косинусную функцию затухания к предоставленной начальной скорости обучения. Она требует значения global_step, чтобы вычислить затухающую скорость обучения. Вы можете просто передать тензор TensorFlow, который вы увеличиваете на каждом шаге обучения.

Функция возвращает затухающую скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed = linear_cosine_decay(learning_rate, global_step, decay_steps)

Совместимость с Eager

Когда включено выполнение Eager, эта функция возвращает функцию, которая в свою очередь возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.