tf.keras.optimizers.schedules.PolynomialDecay

Расписание полиномиального уменьшения скорости обучения.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.PolynomialDecay(
    initial_learning_rate,
    decay_steps,
    end_learning_rate=0.0001,
    power=1.0,
    cycle=False,
    name='PolynomialDecay'
)

Используется в блокнотах

Часто наблюдается, что монотонно убывающая скорость обучения, степень изменения которой тщательно выбрана, приводит к модели с лучшей производительностью. Это расписание применяет полиномиальную функцию уменьшения к шагу оптимизатора, учитывая предоставленный initial_learning_rate, чтобы достичь end_learning_rate в заданном decay_steps.

Требуется значение step для вычисления уменьшенной скорости обучения. Вы можете просто передать переменную бэкенда, которую вы инкрементируете на каждом шаге обучения.

Расписание — это вызываемая функция с 1 аргументом, которая выдает уменьшенную скорость обучения при передаче текущего шага оптимизатора. Это может быть полезно для изменения значения скорости обучения в разных вызовах функций оптимизатора. Оно вычисляется следующим образом:

def decayed_learning_rate(step):
    step = min(step, decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

Если cycle равно True, используется кратное decay_steps, первое из них, которое больше step.

def decayed_learning_rate(step):
    decay_steps = decay_steps * ceil(step / decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

Вы можете передать это расписание напрямую в keras.optimizers.Optimizer в качестве скорости обучения. Пример: подгонка модели с уменьшением со 0,1 до 0,01 за 10000 шагов с использованием sqrt (т.е. power=0,5):

...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = keras.optimizers.schedules.PolynomialDecay(
    starter_learning_rate,
    decay_steps,
    end_learning_rate,
    power=0.5)

model.compile(optimizer=keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

Расписание скорости обучения также сериализуемо и десериализуемо с помощью keras.optimizers.schedules.serialize и keras.optimizers.schedules.deserialize.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Инициализирует расписание LearningRateSchedule по его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызов self как функции.