tf.keras.optimizers.schedules.CosineDecay

Расписание LearningRateSchedule, использующее график косинусного спада.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps, alpha=0.0, name=None
)

См. Loshchilov & Hutter, ICLR2016, SGDR: Стохастический градиентный спуск с теплыми перезапусками.

При обучении модели часто бывает полезно снижать скорость обучения по мере продвижения обучения. Это расписание применяет функцию косинусного спада к шагу оптимизатора, учитывая заданную начальную скорость обучения. Для вычисления уменьшенной скорости обучения требуется значение step. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Расписание представляет собой вызываемый объект с 1 аргументом, который выдает уменьшенную скорость обучения при передаче текущего шага оптимизатора. Это может быть полезно для изменения значения скорости обучения при различных вызовах функций оптимизатора. Оно вычисляется как:

def decayed_learning_rate(step):
  step = min(step, decay_steps)
  cosine_decay = 0.5 * (1 + cos(pi * step / decay_steps))
  decayed = (1 - alpha) * cosine_decay + alpha
  return initial_learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed_fn = tf.keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps)

Вы можете передать это расписание непосредственно в tf.keras.optimizers.Optimizer в качестве скорости обучения. Расписание скорости обучения также сериализуемо и десериализуемо с помощью tf.keras.optimizers.schedules.serialize и tf.keras.optimizers.schedules.deserialize.

Методы

from_config

Смотреть исходный код

@classmethod
from_config(
    config
)

Создает экземпляр LearningRateSchedule из его конфигурации.

get_config

Смотреть исходный код

get_config()

__call__

Смотреть исходный код

__call__(
    step
)

Вызов self как функции.