tf.compat.v1.train.linear_cosine_decay

Применяет линейное косинусное затухание к скорости обучения.

tf.compat.v1.train.linear_cosine_decay(
    learning_rate,
    global_step,
    decay_steps,
    num_periods=0.5,
    alpha=0.0,
    beta=0.001,
    name=None
)

Обратите внимание, что линейное косинусное затухание более агрессивно, чем косинусное затухание, поэтому обычно можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется снижать скорость обучения по мере продвижения процесса обучения. Эта функция применяет линейную косинусную функцию затухания к заданной начальной скорости обучения. Для вычисления затухающей скорости обучения требуется значение global_step. Можно просто передать переменную TensorFlow, значение которой увеличивается на каждом шаге обучения.

Функция возвращает затухающую скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed = linear_cosine_decay(learning_rate, global_step, decay_steps)

Если включено eager execution, эта функция возвращает функцию, которая, в свою очередь, возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.