Адам

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False, *, foreach=None, maximize=False, capturable=False, differentiable=False, fused=False) [source]

Реализует алгоритм Адам.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{Входные данные} : \gamma \text{ (lr)}, \beta_1, \beta_2 \text{ (betas)},\theta_0 \text{ (params)},f(\theta) \text{ (objective)} \\ &\hspace{13mm} \lambda \text{ (weight decay)}, \: \textit{amsgrad}, \:\textit{maximize} \\ &\textbf{Инициализация} : m_0 \leftarrow 0 \text{ (первый момент)}, v_0\leftarrow 0 \text{ (второй момент)},\: \widehat{v_0}^{max}\leftarrow 0\\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{для} \: t=1 \: \textbf{по} \: \ldots \: \textbf{сделать} \\ &\hspace{5mm}\textbf{если} \: \textit{maximize}: \\ &\hspace{10mm}g_t \leftarrow -\nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}\textbf{иначе} \\ &\hspace{10mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}\textbf{если} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{5mm}v_t \leftarrow \beta_2 v_{t-1} + (1-\beta_2) g^2_t \\ &\hspace{5mm}\widehat{m_t} \leftarrow m_t/\big(1-\beta_1^t \big) \\ &\hspace{5mm}\widehat{v_t} \leftarrow v_t/\big(1-\beta_2^t \big) \\ &\hspace{5mm}\textbf{если} \: amsgrad \\ &\hspace{10mm}\widehat{v_t}^{max} \leftarrow \mathrm{max}(\widehat{v_t}^{max}, \widehat{v_t}) \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma \widehat{m_t}/ \big(\sqrt{\widehat{v_t}^{max}} + \epsilon \big) \\ &\hspace{5mm}\textbf{иначе} \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma \widehat{m_t}/ \big(\sqrt{\widehat{v_t}} + \epsilon \big) \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\textbf{вернуть} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Более подробную информацию об алгоритме можно найти в статье Адам: Метод стохастической оптимизации.

Параметры:

• params (iterable) – iterable параметров для оптимизации или словари, определяющие группы параметров
• lr (float, необязательно) – скорость обучения (по умолчанию: 1e-3)
• betas (Tuple[float, float], необязательно) – коэффициенты, используемые для вычисления текущих средних градиента и его квадрата (по умолчанию: (0.9, 0.999))
• eps (float, необязательно) – член, добавляемый к знаменателю для улучшения числовой устойчивости (по умолчанию: 1e-8)
• weight_decay (float, необязательно) – спуск по весу (штраф L2) (по умолчанию: 0)
• amsgrad (bool, необязательно) – использовать ли вариант AMSGrad этого алгоритма из статьи On the Convergence of Adam and Beyond (по умолчанию: False)
• foreach (bool, необязательно) – использовать ли реализацию оптимизатора foreach (по умолчанию: None)
• maximize (bool, необязательно) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)
• capturable (bool, необязательно) – является ли этот экземпляр безопасным для захвата в графике CUDA. Передача True может ухудшить производительность вне графика, поэтому если вы не планируете захватывать этот экземпляр в графике, оставьте False (по умолчанию: False)
• fused (bool, необязательно) – использовать ли объединённую реализацию оптимизатора. В настоящее время поддерживаются torch.float64, torch.float32, torch.float16, и torch.bfloat16 (по умолчанию: False)

add_param_group(param_group)

Добавить группу параметров в Optimizerы param_groups.

Это может быть полезно при донастройке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры должны быть оптимизированы вместе с групповыми специфическими параметрами оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращаемым функцией state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, хранящий текущее состояние оптимизации. Его содержимое

  различается между классами оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров является словарем

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизированных torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, устанавливает градиенты в None. Это, как правило, потребует меньшего объёма памяти и может незначительно улучшить производительность. Однако это меняет некоторые особенности. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нём ручные операции, атрибут None или тензор, заполненный 0, будут вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True), за которым следует обратный проход, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в одном случае выполняется шаг с градиентом 0, а в другом – шаг пропускается).