tf.compat.v1.train.polynomial_decay

Применяет полиномиальное затухание скорости обучения.

tf.compat.v1.train.polynomial_decay(
    learning_rate,
    global_step,
    decay_steps,
    end_learning_rate=0.0001,
    power=1.0,
    cycle=False,
    name=None
)

Используется в блокнотах

Используется в руководстве	Используется в учебных материалах
Отладка перенесенного конвейера обучения TensorFlow 2	Подгонка смеси моделей процессов Дирихле с использованием предварительно обусловленной стохастической динамики Ланжевена с градиентом

Часто наблюдается, что монотонно уменьшающаяся скорость обучения, степень изменения которой тщательно подобрана, приводит к повышению качества модели. Эта функция применяет полиномиальную функцию затухания к заданному начальному learning_rate, чтобы достичь end_learning_rate за указанный decay_steps.

Для вычисления затухающей скорости обучения требуется значение global_step. Можно просто передавать переменную TensorFlow, увеличивая её на каждом шаге обучения.

Функция возвращает затухающую скорость обучения. Она вычисляется следующим образом:

global_step = min(global_step, decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

Если cycle равно True, используется кратное значение decay_steps — первое, которое больше global_steps.

decay_steps = decay_steps * ceil(global_step / decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

Пример: затухание от 0.1 до 0.01 за 10000 шагов с использованием квадратного корня (т. е. power=0.5):

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate = tf.compat.v1.train.polynomial_decay(starter_learning_rate,
global_step,
                                          decay_steps, end_learning_rate,
                                          power=0.5)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.compat.v1.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

Аргументы
`learning_rate`	Скалярный `float32` или `float64` `Tensor` либо число Python. Начальная скорость обучения.
`global_step`	Скалярный `int32` или `int64` `Tensor` либо число Python. Глобальный шаг, используемый для вычисления затухания. Не должен быть отрицательным.
`decay_steps`	Скалярный `int32` или `int64` `Tensor` либо число Python. Должен быть положительным. См. вычисление затухания выше.
`end_learning_rate`	Скалярный `float32` или `float64` `Tensor` либо число Python. Минимальная конечная скорость обучения.
`power`	Скалярный `float32` или `float64` `Tensor` либо число Python. Степень полинома. По умолчанию — линейная, 1.0.
`cycle`	Логическое значение, указывающее, следует ли циклически продолжать затухание после decay_steps.
`name`	Строка. Необязательное имя операции. По умолчанию — 'PolynomialDecay'.

Возвращает
Скалярный `Tensor` того же типа, что и `learning_rate`. Затухающая скорость обучения.

Вызывает исключения
`ValueError`	если `global_step` не указано.

Совместимость с eager execution

Если включено eager execution, эта функция возвращает функцию, которая, в свою очередь, возвращает тензор затухающей скорости обучения. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/train/polynomial_decay