tf.compat.v1.train.linear_cosine_decay

Применяет линейное косинусное уменьшение к скорости обучения.

tf.compat.v1.train.linear_cosine_decay(
    learning_rate, global_step, decay_steps, num_periods=0.5, alpha=0.0, beta=0.001,
    name=None
)

Обратите внимание, что линейное косинусное уменьшение более агрессивно, чем косинусное уменьшение, и можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется уменьшать скорость обучения по мере прогресса обучения. Эта функция применяет линейную косинусную функцию уменьшения к предоставленной начальной скорости обучения. Она требует global_step значения для вычисления уменьшенной скорости обучения. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Функция возвращает уменьшенную скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed = linear_cosine_decay(learning_rate, global_step, decay_steps)

Ссылки:

Поиск нейронного оптимизатора с помощью обучения с подкреплением: Bello и др., 2017 (pdf) Стохастический градиентный спуск с теплыми перезапусками: Loshchilov и др., 2017 (pdf)

Совместимость с режимом Eager

Когда режим Eager включен, эта функция возвращает функцию, которая в свою очередь возвращает тензор уменьшенной скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.