CosineAnnealingLR

class torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=- 1, verbose=False) [source]

Устанавливает скорость обучения для каждой группы параметров с помощью графика косинусного отжига, где $\eta_{max}$ задаётся начальной скоростью обучения, а $T_{cur}$ — количество эпох с момента последнего перезапуска в SGDR:

$$\begin{aligned} \eta_t & = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 + \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right), & T_{cur} \neq (2k+1)T_{max}; \\ \eta_{t+1} & = \eta_{t} + \frac{1}{2}(\eta_{max} - \eta_{min}) \left(1 - \cos\left(\frac{1}{T_{max}}\pi\right)\right), & T_{cur} = (2k+1)T_{max}. \end{aligned}$$

Когда last_epoch=-1, задаёт начальную скорость обучения как lr. Обратите внимание, что, поскольку график определяется рекурсивно, скорость обучения может быть одновременно изменена за пределами этого планировщика другими операторами. Если скорость обучения задаётся только этим планировщиком, скорость обучения на каждом шаге становится:

$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 + \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right)$$

Предложено в SGDR: Stochastic Gradient Descent with Warm Restarts. Обратите внимание, что это реализует только часть косинусного отжига SGDR, а не перезагрузки.

Parameters:

• optimizer (Optimizer) – Обёртка оптимизатора.
• T_max (int) – Максимальное количество итераций.
• eta_min (float) – Минимальная скорость обучения. По умолчанию: 0.
• last_epoch (int) – Индекс последней эпохи. По умолчанию: -1.
• verbose (bool) – Если True, выводит сообщение в стандартный вывод для каждого обновления. По умолчанию: False.

get_last_lr()

Возвращает последнюю вычисленную скорость обучения текущим планировщиком.

load_state_dict(state_dict)

Загружает состояние планировщика.

Parameters:

state_dict (dict) – состояние планировщика. Должно быть объектом, возвращённым из вызова state_dict().

print_lr(is_verbose, group, lr, epoch=None)

Отображает текущую скорость обучения.

state_dict()

Возвращает состояние планировщика в виде dict.

Содержит запись для каждой переменной в self.__dict__, которая не является оптимизатором.