tf.keras.optimizers.schedules.PolynomialDecay

LearningRateSchedule использует полиномиальное расписание затухания.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.PolynomialDecay(
    initial_learning_rate,
    decay_steps,
    end_learning_rate=0.0001,
    power=1.0,
    cycle=False,
    name='PolynomialDecay'
)

Используется в блокнотах

Часто наблюдается, что монотонно убывающая скорость обучения, степень изменения которой тщательно подобрана, приводит к повышению качества модели. Это расписание применяет функцию полиномиального затухания к шагу оптимизатора с заданным initial_learning_rate, чтобы достичь end_learning_rate за заданное decay_steps.

Для вычисления затухающей скорости обучения требуется значение step. Можно просто передать переменную серверной части, значение которой увеличивается на каждом шаге обучения.

Расписание представляет собой вызываемый объект с одним аргументом, который возвращает затухающую скорость обучения при передаче текущего шага оптимизатора. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора. Она вычисляется следующим образом:

def decayed_learning_rate(step):
    step = min(step, decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

Если cycle имеет значение True, используется кратное decay_steps — первое кратное, которое больше step.

def decayed_learning_rate(step):
    decay_steps = decay_steps * ceil(step / decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

Это расписание можно напрямую передать в keras.optimizers.Optimizer в качестве скорости обучения. Пример: обучение модели с уменьшением скорости обучения с 0.1 до 0.01 за 10000 шагов с использованием sqrt (то есть power=0.5):

...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = keras.optimizers.schedules.PolynomialDecay(
    starter_learning_rate,
    decay_steps,
    end_learning_rate,
    power=0.5)

model.compile(optimizer=keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

Расписание скорости обучения также можно сериализовать и десериализовать с помощью keras.optimizers.schedules.serialize и keras.optimizers.schedules.deserialize.

Методы

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

Создает экземпляр LearningRateSchedule на основе его конфигурации.

get_config

Посмотреть исходный код

get_config()

__call__

Посмотреть исходный код

__call__(
    step
)

Вызов self как функции.