tf.keras.experimental.NoisyLinearCosineDecay

График изменения скорости обучения, использующий шумовую линейную косинусоидальную функцию распада.

Наследуется от: LearningRateSchedule

tf.keras.experimental.NoisyLinearCosineDecay(
    initial_learning_rate, decay_steps, initial_variance=1.0, variance_decay=0.55,
    num_periods=0.5, alpha=0.0, beta=0.001, name=None
)

См. [Bello и др., ICML2017] Поиск нейронного оптимизатора с помощью RL. https://arxiv.org/abs/1709.07417

По поводу идеи тёплых запусков, управляемых num_periods, см. [Loshchilov & Hutter, ICLR2016] SGDR: стохастический градиентный спуск с тёплыми перезапуском. https://arxiv.org/abs/1608.03983

Обратите внимание, что линейный косинусоидальный распад более агрессивный, чем косинусоидальный, и обычно можно использовать более высокие начальные скорости обучения.

При обучении модели часто рекомендуется уменьшать скорость обучения по мере обучения. Этот график применяет шумовую линейную косинусоидальную функцию распада к шагу оптимизатора, учитывая заданную начальную скорость обучения. Для вычисления уменьшенной скорости обучения требуется значение step. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

График — это вызываемая функция с 1 аргументом, которая возвращает уменьшенную скорость обучения, когда ей передаётся текущий шаг оптимизатора. Это может быть полезно для изменения значения скорости обучения при различных вызовах функций оптимизатора. Оно вычисляется следующим образом:

def decayed_learning_rate(step):
  step = min(step, decay_steps)
  linear_decay = (decay_steps - step) / decay_steps)
  cosine_decay = 0.5 * (
      1 + cos(pi * 2 * num_periods * step / decay_steps))
  decayed = (alpha + linear_decay + eps_t) * cosine_decay + beta
  return initial_learning_rate * decayed

где eps_t — гауссово шум с нулевым средним и дисперсией initial_variance / (1 + global_step) ** variance_decay

Пример использования:

decay_steps = 1000
lr_decayed_fn = (
  tf.keras.experimental.NoisyLinearCosineDecay(
    initial_learning_rate, decay_steps))

Вы можете напрямую передать этот график в tf.keras.optimizers.Optimizer в качестве скорости обучения. График скорости обучения также может быть сериализован и десериализован с помощью tf.keras.optimizers.schedules.serialize и tf.keras.optimizers.schedules.deserialize.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт экземпляр LearningRateSchedule по его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызов self как функции.