tf.keras.optimizers.schedules.InverseTimeDecay

Расписание для обратного распада по времени.

Наследуется от: LearningRateSchedule

tf.keras.optimizers.schedules.InverseTimeDecay(
    initial_learning_rate,
    decay_steps,
    decay_rate,
    staircase=False,
    name='InverseTimeDecay'
)

Используется в блокнотах

При обучении модели часто бывает полезно уменьшать скорость обучения по мере прогресса обучения. Это расписание применяет обратную функцию распада к шагу оптимизатора, учитывая заданную начальную скорость обучения. Оно требует значения step для вычисления уменьшенной скорости обучения. Вы можете просто передать переменную бэкэнда, которую вы увеличиваете на каждом шаге обучения.

Расписание — это вызываемый объект с 1 аргументом, который выводит уменьшенную скорость обучения, когда ему передаётся текущий шаг оптимизатора. Это может быть полезно для изменения значения скорости обучения при разных вызовах функций оптимизатора. Оно вычисляется следующим образом:

def decayed_learning_rate(step):
    return initial_learning_rate / (1 + decay_rate * step / decay_step)

или, если staircase равно True, как:

def decayed_learning_rate(step):
    return initial_learning_rate /
           (1 + decay_rate * floor(step / decay_step))

Вы можете передать это расписание непосредственно в keras.optimizers.Optimizer как скорость обучения. Пример: обучение модели Keras с распадом 1/t со скоростью 0,5:

...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
    initial_learning_rate, decay_steps, decay_rate)

model.compile(optimizer=keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Инициализирует LearningRateSchedule по его конфигурации.

get_config

Просмотреть исходный код

get_config()

__call__

Просмотреть исходный код

__call__(
    step
)

Вызвать self как функцию.