tf.train.noisy_linear_cosine_decay

Применяет шумное линейное косинусное затухание к скорости обучения.

tf.train.noisy_linear_cosine_decay(
    learning_rate, global_step, decay_steps, initial_variance=1.0,
    variance_decay=0.55, num_periods=0.5, alpha=0.0, beta=0.001, name=None
)

См. [Bello и др., ICML2017] Поиск нейронного оптимизатора с помощью RL. https://arxiv.org/abs/1709.07417

Для идеи тёплого старта, управляемого num_periods, см. [Loshchilov & Hutter, ICLR2016] SGDR: Стохастический градиентный спуск с тёплыми перезапусками. https://arxiv.org/abs/1608.03983

Обратите внимание, что линейное косинусное затухание более агрессивно, чем косинусное затухание, и обычно можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется уменьшать скорость обучения по мере обучения. Эта функция применяет шумную линейную функцию косинусного затухания к предоставленной начальной скорости обучения. Для вычисления затухающей скорости обучения требуется значение global_step. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Функция возвращает затухающую скорость обучения. Она вычисляется как:

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay + eps_t) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

где eps_t — гауссова шумовая величина со смещением 0 и дисперсией initial_variance / (1 + global_step) ** variance_decay

Пример использования:

decay_steps = 1000
lr_decayed = noisy_linear_cosine_decay(
  learning_rate, global_step, decay_steps)

Совместимость с Eager

При включенном режиме Eager выполнения эта функция возвращает функцию, которая в свою очередь возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.