RAdam

class torch.optim.RAdam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, foreach=None) [source]

Реализует алгоритм RAdam.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \beta_1, \beta_2 \text{ (betas)}, \: \theta_0 \text{ (params)}, \:f(\theta) \text{ (objective)}, \: \lambda \text{ (weightdecay)}, \\ &\hspace{13mm} \epsilon \text{ (epsilon)} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ ( first moment)}, v_0 \leftarrow 0 \text{ ( second moment)}, \\ &\hspace{18mm} \rho_{\infty} \leftarrow 2/(1-\beta_2) -1 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{6mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{6mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{6mm}v_t \leftarrow \beta_2 v_{t-1} + (1-\beta_2) g^2_t \\ &\hspace{6mm}\widehat{m_t} \leftarrow m_t/\big(1-\beta_1^t \big) \\ &\hspace{6mm}\rho_t \leftarrow \rho_{\infty} - 2 t \beta^t_2 /\big(1-\beta_2^t \big) \\[0.1.ex] &\hspace{6mm}\textbf{if} \: \rho_t > 5 \\ &\hspace{12mm} l_t \leftarrow \sqrt{ (1-\beta^t_2) / \big( v_t +\epsilon \big) } \\ &\hspace{12mm} r_t \leftarrow \sqrt{\frac{(\rho_t-4)(\rho_t-2)\rho_{\infty}}{(\rho_{\infty}-4)(\rho_{\infty}-2) \rho_t}} \\ &\hspace{12mm}\theta_t \leftarrow \theta_{t-1} - \gamma \widehat{m_t} r_t l_t \\ &\hspace{6mm}\textbf{else} \\ &\hspace{12mm}\theta_t \leftarrow \theta_{t-1} - \gamma \widehat{m_t} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Для получения дополнительной информации об алгоритме см. On the variance of the adaptive learning rate and beyond.

Параметры:

• params (iterable) – набор параметров для оптимизации или словари, определяющие группы параметров
• lr (float, необязательно) – скорость обучения (по умолчанию: 1e-3)
• betas (Tuple[float, float], необязательно) – коэффициенты, используемые для вычисления скользящих средних градиента и его квадрата (по умолчанию: (0.9, 0.999))
• eps (float, необязательно) – слагаемое, добавляемое к знаменателю для повышения числовой устойчивости (по умолчанию: 1e-8)
• weight_decay (float, необязательно) – распад весов (штраф L2) (по умолчанию: 0)
• foreach (bool, необязательно) – использовать ли реализацию оптимизатора foreach (по умолчанию: None)

add_param_group(param_group)

Добавляет группу параметров к Optimizer param_groups.

Это может быть полезно при доработке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры следует оптимизировать вместе со специфическими для группы параметрами оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращаемым функцией state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается в зависимости от классов оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров представляет собой словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – замыкание, которое переоценивает модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизируемых torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установите градиенты в None. Это, как правило, потребует меньшего объема памяти и может незначительно улучшить производительность. Однако это изменяет определенное поведение. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нем ручные операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True) за которым следует обратное распространение, градиенты .grad гарантированно будут None для параметров, которые не получили градиент. 3. torch.optim оптимизаторы ведут себя иначе, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом — пропускает шаг).