RMSprop

class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False, foreach=None, maximize=False, differentiable=False) [source]

Реализует алгоритм RMSprop.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{Входные данные} : \alpha \text{ (alpha)},\: \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)} \\ &\hspace{13mm} \lambda \text{ (weight decay)},\: \mu \text{ (momentum)},\: centered\\ &\textbf{Инициализация} : v_0 \leftarrow 0 \text{ (среднее квадратичное значение)}, \: \textbf{b}_0 \leftarrow 0 \text{ (буфер)}, \: g^{ave}_0 \leftarrow 0 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{для} \: t=1 \: \textbf{до} \: \ldots \: \textbf{делать} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}v_t \leftarrow \alpha v_{t-1} + (1 - \alpha) g^2_t \hspace{8mm} \\ &\hspace{5mm} \tilde{v_t} \leftarrow v_t \\ &\hspace{5mm}if \: centered \\ &\hspace{10mm} g^{ave}_t \leftarrow g^{ave}_{t-1} \alpha + (1-\alpha) g_t \\ &\hspace{10mm} \tilde{v_t} \leftarrow \tilde{v_t} - \big(g^{ave}_{t} \big)^2 \\ &\hspace{5mm}if \: \mu > 0 \\ &\hspace{10mm} \textbf{b}_t\leftarrow \mu \textbf{b}_{t-1} + g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \\ &\hspace{10mm} \theta_t \leftarrow \theta_{t-1} - \gamma \textbf{b}_t \\ &\hspace{5mm} else \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \hspace{3mm} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{Вывод} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Дополнительные сведения об алгоритме можно найти в лекции Дж. Хинтона. и в центре версии Generating Sequences With Recurrent Neural Networks. В данной реализации используется квадратный корень из среднего значения градиента перед добавлением ε (обратите внимание, что TensorFlow меняет эти две операции). Эффективная скорость обучения, таким образом, равна $\gamma/(\sqrt{v} + \epsilon)$, где $\gamma$ — запланированная скорость обучения, а $v$ — взвешенное скользящее среднее значение квадрата градиента.

Параметры:

• params (iterable) – итерируемый объект параметров для оптимизации или словари, определяющие группы параметров
• lr (float, optional) – скорость обучения (по умолчанию: 1e-2)
• momentum (float, optional) – коэффициент импульса (по умолчанию: 0)
• alpha (float, optional) – константа сглаживания (по умолчанию: 0.99)
• eps (float, optional) – слагаемое, добавляемое к знаменателю для повышения числовой устойчивости (по умолчанию: 1e-8)
• centered (bool, optional) – если True, вычисляется центрированный RMSProp, градиент нормализуется по оценке его дисперсии
• weight_decay (float, optional) – смягчение весов (штраф L2) (по умолчанию: 0)
• foreach (bool, optional) – использовать ли реализацию оптимизатора foreach (по умолчанию: None)
• maximize (bool, optional) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавить группу параметров в Optimizerы param_groups.

Это может быть полезно при доработке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры следует оптимизировать вместе со специфическими для группы параметрами оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должен быть объектом, возвращенным из вызова state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  различается в зависимости от классов оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров является словарем

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизируемых torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установите градиенты в None. Это, как правило, уменьшит занимаемую память и может немного улучшить производительность. Однако это изменяет определенное поведение. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нем ручные операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True), за которым следует обратный проход, .grad для параметров, которые не получили градиент, гарантированно будут None. 3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом — пропускает шаг).