tf.compat.v1.train.cosine_decay

Применяет убывание по косинусу к скорости обучения.

tf.compat.v1.train.cosine_decay(
    learning_rate, global_step, decay_steps, alpha=0.0, name=None
)

При обучении модели часто рекомендуется снижать скорость обучения по мере прогресса обучения. Эта функция применяет функцию убывания по косинусу к предоставленной начальной скорости обучения. Она требует значения global_step для вычисления убывшей скорости обучения. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

Функция возвращает убывшую скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
cosine_decay = 0.5 * (1 + cos(pi * global_step / decay_steps))
decayed = (1 - alpha) * cosine_decay + alpha
decayed_learning_rate = learning_rate * decayed

Пример использования:

decay_steps = 1000
lr_decayed = cosine_decay(learning_rate, global_step, decay_steps)

Аргументы
`learning_rate`	Скалярный `float32` или `float64` тензор или число Python. Начальная скорость обучения.
`global_step`	Скалярный `int32` или `int64` `Tensor` тензор или число Python. Глобальный шаг для вычисления убывания.
`decay_steps`	Скалярный `int32` или `int64` `Tensor` тензор или число Python. Количество шагов для убывания.
`alpha`	Скалярный `float32` или `float64` тензор или число Python. Минимальное значение скорости обучения как доля от learning_rate.
`name`	Строка. Необязательное имя операции. По умолчанию 'CosineDecay'.

Возвращаемое значение
Скалярный `Tensor` того же типа, что и `learning_rate`. Убывшая скорость обучения.

Исключения
`ValueError`	если `global_step` не указан.

Ссылки:

Stochastic Gradient Descent with Warm Restarts: Loshchilov et al., 2017 (pdf)

совместимость с eager

Когда выполняется eager-выполнение, эта функция возвращает функцию, которая в свою очередь возвращает тензор убывшей скорости обучения. Это может быть полезно для изменения значения скорости обучения в разных вызовах функций оптимизатора.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/train/cosine_decay