SparseAdam

class torch.optim.SparseAdam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, maximize=False) [source]

Реализует ленивую версию алгоритма Adam, подходящую для разреженных тензоров.

В этой вариации обновляются только моменты, которые появляются в градиенте, и только эти части градиента применяются к параметрам.

Параметры:

• params (iterable) – итерируемый объект параметров для оптимизации или словари, определяющие группы параметров
• lr (float, необязательно) – скорость обучения (по умолчанию: 1e-3)
• betas (Tuple[float, float], необязательно) – коэффициенты, используемые для вычисления усреднённых значений градиента и его квадрата (по умолчанию: (0.9, 0.999))
• eps (float, необязательно) – член, добавляемый к знаменателю для повышения числовой устойчивости (по умолчанию: 1e-8)
• maximize (bool, необязательно) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавляет группу параметров к оптимизатору Optimizer .

Это может быть полезно при дообучении предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить их в Optimizer по мере обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры следует оптимизировать вместе с опциями оптимизации для каждой группы.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращаемым вызовом state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается между классами оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров — это словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – Закрытие, которое переоценивает модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизированных torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установить градиенты в None. Это в целом уменьшит использование памяти и может немного улучшить производительность. Однако это меняет некоторые поведения. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нем ручные операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запросит zero_grad(set_to_none=True) за которым следует обратный проход, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. torch.optim оптимизаторы имеют другое поведение, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом — пропускает шаг целиком).