tf.train.cosine_decay

Применяет к скорости обучения экспоненциальное затухание косинуса.

tf.train.cosine_decay(
    learning_rate, global_step, decay_steps, alpha=0.0, name=None
)

См. [Loshchilov & Hutter, ICLR2016], SGDR: Stochastic Gradient Descent with Warm Restarts. https://arxiv.org/abs/1608.03983

При обучении модели часто рекомендуется уменьшать скорость обучения по мере прогресса обучения. Эта функция применяет функцию экспоненциального затухания косинуса к предоставленной начальной скорости обучения. Она требует значения global_step для вычисления затухающей скорости обучения. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Функция возвращает затухающую скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
cosine_decay = 0.5 * (1 + cos(pi * global_step / decay_steps))
decayed = (1 - alpha) * cosine_decay + alpha
decayed_learning_rate = learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed = cosine_decay(learning_rate, global_step, decay_steps)

Совместимость с Eager

Когда включено выполнение Eager, эта функция возвращает функцию, которая в свою очередь возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при различных вызовах функций оптимизатора.