tf.compat.v1.train.cosine_decay_restarts
Применяет косинусное затухание с перезапусками к скорости обучения.
tf.compat.v1.train.cosine_decay_restarts(
learning_rate, global_step, first_decay_steps, t_mul=2.0, m_mul=1.0, alpha=0.0,
name=None
)
При обучении модели часто рекомендуется уменьшать скорость обучения по мере прогресса обучения. Эта функция применяет функцию косинусного затухания с перезапусками к заданной начальной скорости обучения. Она требует global_step значения для вычисления затухающей скорости обучения. Вы можете просто передать переменную TensorFlow, которую вы инкрементируете на каждом шаге обучения.
Функция возвращает затухающую скорость обучения, учитывая возможные теплые перезапуски. Множитель скорости обучения сначала убывает от 1 до alpha за first_decay_steps шагов. Затем выполняется теплый перезапуск. Каждый новый теплый перезапуск выполняется за t_mul раз больше шагов и с m_mul раз меньшей начальной скоростью обучения.
Пример использования:
first_decay_steps = 1000
lr_decayed = cosine_decay_restarts(learning_rate, global_step,
first_decay_steps)
| Аргументы | |
|---|---|
learning_rate | Скалярный float32 или float64 тензор или число Python. Начальная скорость обучения. |
global_step | Скалярный int32 или int64 Tensor тензор или число Python. Глобальный шаг для вычисления затухания. |
first_decay_steps | Скалярный int32 или int64 Tensor тензор или число Python. Количество шагов для затухания. |
t_mul | Скалярный float32 или float64 Tensor тензор или число Python. Используется для получения числа итераций в i-й период. |
m_mul | Скалярный float32 или float64 Tensor тензор или число Python. Используется для вывода начальной скорости обучения i-го периода: |
alpha | Скалярный float32 или float64 тензор или число Python. Минимальное значение скорости обучения как доля learning_rate. |
name | Строка. Необязательное имя операции. По умолчанию 'SGDRDecay'. |
| Возвращаемое значение | |
|---|---|
Скалярный Tensor того же типа, что и learning_rate. Затухающая скорость обучения. |
| Исключения | |
|---|---|
ValueError | если global_step не задано. |
Ссылки:
Метод стохастического градиентного спуска с теплыми перезапусками: Loshchilov et al., 2017 (pdf)
Совместимость с Eager Execution
Когда включено выполнение Eager, эта функция возвращает функцию, которая в свою очередь возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/train/cosine_decay_restarts
