AdamW

class torch.optim.AdamW(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.01, amsgrad=False, *, maximize=False, foreach=None, capturable=False) [source]

Реализует алгоритм AdamW.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{(lr)}, \: \beta_1, \beta_2 \text{(betas)}, \: \theta_0 \text{(params)}, \: f(\theta) \text{(objective)}, \: \epsilon \text{ (epsilon)} \\ &\hspace{13mm} \lambda \text{(weight decay)}, \: \textit{amsgrad}, \: \textit{maximize} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ (first moment)}, v_0 \leftarrow 0 \text{ ( second moment)}, \: \widehat{v_0}^{max}\leftarrow 0 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}\textbf{if} \: \textit{maximize}: \\ &\hspace{10mm}g_t \leftarrow -\nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}\textbf{else} \\ &\hspace{10mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \theta_t \leftarrow \theta_{t-1} - \gamma \lambda \theta_{t-1} \\ &\hspace{5mm} \text{и так далее...} \end{aligned}$$

Для получения дополнительной информации об алгоритме см. Регуляризация с помощью отвязанной декомпозиции весов.

Параметры:

• params (iterable) – итерируемый список параметров для оптимизации или словари, определяющие группы параметров
• lr (float, опционально) – скорость обучения (по умолчанию: 1e-3)
• betas (Tuple[float, float], опционально) – коэффициенты, используемые для вычисления усредненных значений градиента и его квадрата (по умолчанию: (0.9, 0.999))
• eps (float, опционально) – слагаемое, добавляемое к знаменателю для повышения числовой устойчивости (по умолчанию: 1e-8)
• weight_decay (float, опционально) – коэффициент распада весов (по умолчанию: 1e-2)
• amsgrad (bool, опционально) – использовать ли вариант AMSGrad этого алгоритма из статьи On the Convergence of Adam and Beyond (по умолчанию: False)
• maximize (bool, опционально) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)
• foreach (bool, опционально) – использовать ли реализацию оптимизатора foreach (по умолчанию: None)
• capturable (bool, опционально) – можно ли безопасно захватить этот экземпляр в графике CUDA. Передача True может ухудшить производительность вне графа, поэтому если вы не планируете захватывать этот экземпляр в графике, оставьте False (по умолчанию: False)

add_param_group(param_group)

Добавить группу параметров в Optimizer param_groups.

Это может быть полезно при донастройке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере прохождения обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры следует оптимизировать вместе с группами специфических параметров оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должен быть объектом, возвращенным в результате вызова state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается в разных классах оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров — это словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, опционально) – Замыкание, которое переоценивает модель и возвращает потерю.

zero_grad(set_to_none=False)

Обнуляет градиенты всех оптимизируемых torch.Tensor.

Параметры:

set_to_none (bool) – вместо обнуления, установить градиенты в None. Это, как правило, уменьшит потребление памяти и может немного улучшить производительность. Однако это изменяет некоторые поведения. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нем ручные операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает .grad после чего выполняется обратный проход, torch.optim гарантированно будут None для параметров, которые не получили градиент. 3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом пропускает шаг вообще).