SWALR

class torch.optim.swa_utils.SWALR(optimizer, swa_lr, anneal_epochs=10, anneal_strategy='cos', last_epoch=-1) [исходный код]

Плавно изменяет скорость обучения в каждой группе параметров до фиксированного значения.

Этот планировщик скорости обучения предназначен для использования с методом стохастического усреднения весов (SWA) (см. torch.optim.swa_utils.AveragedModel).

Параметры:

• optimizer (torch.optim.Optimizer) – оптимизатор-обёртка
• swa_lrs (float or list) – значение скорости обучения для всех групп параметров вместе или отдельно для каждой группы.
• annealing_epochs (int) – количество эпох в фазе плавного изменения (по умолчанию: 10)
• annealing_strategy (str) – «cos» или «linear»; задаёт стратегию плавного изменения: «cos» для косинусного изменения, «linear» для линейного изменения (по умолчанию: «cos»)
• last_epoch (int) – индекс последней эпохи (по умолчанию: -1)

Планировщик SWALR можно использовать вместе с другими планировщиками, чтобы на позднем этапе обучения перейти к постоянной скорости обучения, как показано в примере ниже.

Пример

>>> loader, optimizer, model = ...
>>> lr_lambda = lambda epoch: 0.9
>>> scheduler = torch.optim.lr_scheduler.MultiplicativeLR(optimizer,
>>>        lr_lambda=lr_lambda)
>>> swa_scheduler = torch.optim.swa_utils.SWALR(optimizer,
>>>        anneal_strategy="linear", anneal_epochs=20, swa_lr=0.05)
>>> swa_start = 160
>>> for i in range(300):
>>>      for input, target in loader:
>>>          optimizer.zero_grad()
>>>          loss_fn(model(input), target).backward()
>>>          optimizer.step()
>>>      if i > swa_start:
>>>          swa_scheduler.step()
>>>      else:
>>>          scheduler.step()

get_last_lr() [исходный код]

Получить последние значения скорости обучения, вычисленные этим планировщиком.

Возвращает:

list значений скорости обучения, содержащий записи для каждой из param_groups оптимизатора; типы элементов соответствуют типам их group["lr"].

Тип возвращаемого значения:

list[float | Tensor]

Примечание

Возвращаемые Tensor являются копиями и никогда не ссылаются на group["lr"] оптимизатора.

get_lr() [исходный код]

Вычислить следующую скорость обучения для каждой из param_groups оптимизатора.

Использует anneal_func для интерполяции между group["lr"] каждой группы и group["swa_lr"] на протяжении anneal_epochs эпох. После достижения anneal_epochs скорость обучения остаётся фиксированной на уровне group["swa_lr"].

Возвращает:

list значений скорости обучения для каждой из param_groups оптимизатора; типы элементов соответствуют типам их текущих group["lr"].

Тип возвращаемого значения:

list[float | Tensor]

Примечание

Чтобы посмотреть последнее значение скорости обучения, используйте вместо этого get_last_lr().

Примечание

Возвращаемые Tensor являются копиями и никогда не ссылаются на group["lr"] оптимизатора.

load_state_dict(state_dict) [исходный код]

Загрузить состояние планировщика.

Параметры:

state_dict (dict) – состояние планировщика. Должен быть объектом, возвращённым вызовом state_dict().

state_dict() [исходный код]

Вернуть состояние планировщика в виде dict.

Оно содержит запись для каждой переменной в self.__dict__, кроме optimizer и anneal_func.

Тип возвращаемого значения:

dict[str, Any]

step(epoch=None) [исходный код]

Выполнить шаг планировщика.

Параметры:

epoch (int, optional) –

Устарело начиная с версии 1.4: Если указано, задаёт last_epoch равным epoch и использует _get_closed_form_lr(), если он доступен. Поддерживается не во всех случаях. Вместо этого вызывайте step() без аргументов.

Примечание

Вызывайте этот метод после вызова step() оптимизатора.