tf.compat.v1.train.noisy_linear_cosine_decay

Применяет шумовую линейную косинусоидальную функцию распада к скорости обучения.

tf.compat.v1.train.noisy_linear_cosine_decay(
    learning_rate,
    global_step,
    decay_steps,
    initial_variance=1.0,
    variance_decay=0.55,
    num_periods=0.5,
    alpha=0.0,
    beta=0.001,
    name=None
)

Обратите внимание, что линейный косинусоидальный распад более агрессивен, чем косинусоидальный распад, и можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется уменьшать скорость обучения по мере прогресса обучения. Эта функция применяет шумовую линейную косинусоидальную функцию распада к заданной начальной скорости обучения. Она требует значения global_step для вычисления скорости обучения с учётом распада. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Функция возвращает скорость обучения с учётом распада. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay + eps_t) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

где eps_t — гауссовское шумовое значение с центром в 0 и дисперсией initial_variance / (1 + global_step) ** variance_decay

Пример использования:

decay_steps = 1000
lr_decayed = noisy_linear_cosine_decay(
  learning_rate, global_step, decay_steps)

При включённом режиме eager execution эта функция возвращает функцию, которая в свою очередь возвращает тензор скорости обучения с учётом распада. Это может быть полезно для изменения значения скорости обучения при различных вызовах функций оптимизатора.