tf.compat.v1.train.cosine_decay
Применяет косинусное затухание к скорости обучения.
tf.compat.v1.train.cosine_decay(
learning_rate, global_step, decay_steps, alpha=0.0, name=None
)
При обучении модели часто рекомендуется снижать скорость обучения по мере его продвижения. Эта функция применяет функцию косинусного затухания к заданной начальной скорости обучения. Для вычисления затухающей скорости обучения требуется значение global_step. Можно просто передать переменную TensorFlow, значение которой увеличивается на каждом шаге обучения.
Функция возвращает затухающую скорость обучения. Она вычисляется следующим образом:
global_step = min(global_step, decay_steps) cosine_decay = 0.5 * (1 + cos(pi * global_step / decay_steps)) decayed = (1 - alpha) * cosine_decay + alpha decayed_learning_rate = learning_rate * decayed
Пример использования:
decay_steps = 1000 lr_decayed = cosine_decay(learning_rate, global_step, decay_steps)
| Аргументы | |
|---|---|
learning_rate | Скалярный float32 или float64 тензор либо число Python. Начальная скорость обучения. |
global_step | Скалярный int32 или int64 Tensor либо число Python. Глобальный шаг, используемый для вычисления затухания. |
decay_steps | Скалярный int32 или int64 Tensor либо число Python. Количество шагов, за которое происходит затухание. |
alpha | Скалярный float32 или float64 тензор либо число Python. Минимальное значение скорости обучения в виде доли от learning_rate. |
name | Строка. Необязательное имя операции. По умолчанию — 'CosineDecay'. |
| Возвращает | |
|---|---|
Скалярный Tensor того же типа, что и learning_rate. Затухающая скорость обучения. |
| Вызывает исключение | |
|---|---|
ValueError | если не указано global_step. |
| Ссылки | |
|---|---|
| Стохастический градиентный спуск с теплыми перезапусками: Loshchilov et al., 2017 (PDF) |
Совместимость с eager execution
Когда eager execution включен, эта функция возвращает функцию, которая, в свою очередь, возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/train/cosine_decay
