ASGD

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0, foreach=None, maximize=False) [source]

Реализует усреднённый стохастический градиентный спуск.

Он был предложен в Ускорение стохастического приближения усреднением.

Параметры:

• params (iterable) – итерируемый набор параметров для оптимизации или словари, определяющие группы параметров
• lr (float, необязательно) – скорость обучения (по умолчанию: 1e-2)
• lambd (float, необязательно) – член затухания (по умолчанию: 1e-4)
• alpha (float, необязательно) – показатель для обновления eta (по умолчанию: 0.75)
• t0 (float, необязательно) – точка, в которой начинается усреднение (по умолчанию: 1e6)
• weight_decay (float, необязательно) – затухание веса (штраф L2) (по умолчанию: 0)
• foreach (bool, необязательно) – используется ли реализация оптимизатора foreach (по умолчанию: None)
• maximize (bool, необязательно) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавляет группу параметров к Optimizer s param_groups.

Это может быть полезно при доработке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры должны быть оптимизированы вместе с группами специфическими параметрами оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращённым в результате вызова state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается между классами оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров является словарем

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – Замыкание, которое повторно оценивает модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизированных torch.Tensor s в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установите градиенты в None. Это, как правило, потребует меньшего объёма памяти и может немного улучшить производительность. Однако это меняет определённое поведение. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нём ручные операции, атрибут None или тензор, заполненный 0, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True) в сочетании с обратным проходом, градиенты для параметров, которые не получили градиента, гарантированно будут None. 3. В torch.optim оптимизаторах поведение отличается, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом он пропускает шаг).