tf.keras.optimizers.schedules.LearningRateSchedule

Базовый класс расписания скорости обучения.

Используется в блокнотах

С помощью расписания скорости обучения можно регулировать изменение скорости обучения оптимизатора с течением времени.

Доступно несколько встроенных расписаний скорости обучения, например keras.optimizers.schedules.ExponentialDecay или keras.optimizers.schedules.PiecewiseConstantDecay:

lr_schedule = keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=1e-2,
    decay_steps=10000,
    decay_rate=0.9)
optimizer = keras.optimizers.SGD(learning_rate=lr_schedule)

Экземпляр LearningRateSchedule можно передать в качестве аргумента learning_rate любого оптимизатора.

Чтобы реализовать собственный объект расписания, необходимо реализовать метод __call__, который принимает аргумент step (скалярный целочисленный тензор, представляющий текущее количество шагов обучения). Как и для любого другого объекта Keras, можно также сделать объект сериализуемым, реализовав методы get_config и from_config.

Пример:

class MyLRSchedule(keras.optimizers.schedules.LearningRateSchedule):

    def __init__(self, initial_learning_rate):
        self.initial_learning_rate = initial_learning_rate

    def __call__(self, step):
        return self.initial_learning_rate / (step + 1)

optimizer = keras.optimizers.SGD(learning_rate=MyLRSchedule(0.1))

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает экземпляр LearningRateSchedule на основе его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызов self как функции.