Адаград

class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0, initial_accumulator_value=0, eps=1e-10, foreach=None, *, maximize=False) [source]

Реализует алгоритм Адаград.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{Входные данные} : \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)}, \: \lambda \text{ (weight decay)}, \\ &\hspace{12mm} \tau \text{ (начальное значение аккумулятора)}, \: \eta\text{ (decay lr)}\\ &\textbf{Инициализация} : state\_sum_0 \leftarrow 0 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \tilde{\gamma} \leftarrow \gamma / (1 +(t-1) \eta) \\ &\hspace{5mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}state\_sum_t \leftarrow state\_sum_{t-1} + g^2_t \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1}- \tilde{\gamma} \frac{g_t}{\sqrt{state\_sum_t}+\epsilon} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{Возвратить} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Дополнительную информацию об алгоритме можно найти в статье Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.

Параметры:

• params (iterable) – итерируемый список параметров для оптимизации или словари, определяющие группы параметров
• lr (float, optional) – скорость обучения (по умолчанию: 1e-2)
• lr_decay (float, optional) – скорость затухания скорости обучения (по умолчанию: 0)
• weight_decay (float, optional) – сбой веса (штраф L2) (по умолчанию: 0)
• eps (float, optional) – слагаемое в знаменателе для повышения числовой устойчивости (по умолчанию: 1e-10)
• foreach (bool, optional) – используется ли foreach реализация оптимизатора (по умолчанию: None)
• maximize (bool, optional) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавляет группу параметров к оптимизатору Optimizer.

Это может быть полезно при донастройке предварительно обученной сети, так как замороженные слои могут быть сделаны обучаемыми и добавлены к оптимизатору Optimizer по мере развития обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры должны быть оптимизированы вместе с группами специфических параметров оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращённым из вызова state_dict().

state_dict()

Возвращает состояние оптимизатора как dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается между классами оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров - это словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, optional) – Замкнутая функция, которая повторно вычисляет модель и возвращает потерю.

zero_grad(set_to_none=False)

Обнуляет градиенты всех оптимизируемых torch.Tensor.

Параметры:

set_to_none (bool) – вместо обнуления, установить градиенты в None. Это, как правило, уменьшит потребление памяти и может незначительно улучшить производительность. Однако это меняет определённое поведение. Например: 1. Если пользователь пытается получить доступ к градиенту и выполнить на нём ручные операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True), за которым следует обратное распространение, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. У torch.optim оптимизаторов разное поведение, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом случае пропускает шаг).