tf.keras.optimizers.schedules.PolynomialDecay

A LearningRateSchedule that uses a polynomial decay schedule.

Inherits From: LearningRateSchedule

tf.keras.optimizers.schedules.PolynomialDecay(
    initial_learning_rate, decay_steps, end_learning_rate=0.0001, power=1.0,
    cycle=False, name=None
)

Часто наблюдается, что монотонно убывающая скорость обучения, степень изменения которой тщательно подобрана, приводит к более эффективной работе модели. Этот график применяет полиномиальную функцию убывания к шагу оптимизатора, заданному предоставленным initial_learning_rate, для достижения end_learning_rate на заданном decay_steps.

Он требует значения step, чтобы вычислить уменьшенную скорость обучения. Вы можете просто передать переменную TensorFlow, которую вы увеличиваете на каждом шаге обучения.

График — это вызываемая функция с одним аргументом, которая генерирует уменьшенную скорость обучения при передаче текущего шага оптимизатора. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора. Она вычисляется следующим образом:

def decayed_learning_rate(step):
  step = min(step, decay_steps)
  return ((initial_learning_rate - end_learning_rate) *
          (1 - step / decay_steps) ^ (power)
         ) + end_learning_rate

Если cycle равно True, используется кратное decay_steps, первое из которых больше step.

def decayed_learning_rate(step):
  decay_steps = decay_steps * ceil(step / decay_steps)
  return ((initial_learning_rate - end_learning_rate) *
          (1 - step / decay_steps) ^ (power)
         ) + end_learning_rate

Вы можете передать этот график непосредственно в tf.keras.optimizers.Optimizer в качестве скорости обучения. Пример: обучение модели с убыванием от 0,1 до 0,01 за 10000 шагов, используя sqrt (т.е. power=0,5):

...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = tf.keras.optimizers.schedules.PolynomialDecay(
    starter_learning_rate,
    decay_steps,
    end_learning_rate,
    power=0.5)

model.compile(optimizer=tf.keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

График скорости обучения также сериализуем и десериализуем с помощью tf.keras.optimizers.schedules.serialize и tf.keras.optimizers.schedules.deserialize.

Методы

from_config

View source

@classmethod
from_config(
    config
)

Инициализирует LearningRateSchedule по его конфигурации.

get_config

View source

get_config()

__call__

View source

__call__(
    step
)

Вызов self как функции.