Rprop

class torch.optim.Rprop(params, lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50), foreach=None, maximize=False) [source]

Реализует алгоритм обратного распространения устойчивого к ошибкам.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{входные данные} : \theta_0 \in \mathbf{R}^d \text{ (параметры)},f(\theta) \text{ (целевая функция)}, \\ &\hspace{13mm} \eta_{+/-} \text{ (etaplus, etaminus)}, \Gamma_{max/min} \text{ (шаги)} \\ &\textbf{инициализация} : g^0_{prev} \leftarrow 0, \: \eta_0 \leftarrow \text{lr (скорость обучения)} \\ &\rule{110mm}{0.4pt} \\ &\textbf{для} \: t=1 \: \textbf{до} \: \ldots \: \textbf{сделать} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \textbf{для} \text{ } i = 0, 1, \ldots, d-1 \: \mathbf{сделать} \\ &\hspace{10mm} \textbf{если} \: g^i_{prev} g^i_t > 0 \\ &\hspace{15mm} \eta^i_t \leftarrow \mathrm{min}(\eta^i_{t-1} \eta_{+}, \Gamma_{max}) \\ &\hspace{10mm} \textbf{иначе если} \: g^i_{prev} g^i_t < 0 \\ &\hspace{15mm} \eta^i_t \leftarrow \mathrm{max}(\eta^i_{t-1} \eta_{-}, \Gamma_{min}) \\ &\hspace{15mm} g^i_t \leftarrow 0 \\ &\hspace{10mm} \textbf{иначе} \: \\ &\hspace{15mm} \eta^i_t \leftarrow \eta^i_{t-1} \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1}- \eta_t \mathrm{sign}(g_t) \\ &\hspace{5mm}g_{prev} \leftarrow g_t \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{возвратить} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Для получения дополнительной информации об алгоритме см. статью A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm.

Параметры:

• параметры (iterable) – итерируемый объект параметров для оптимизации или словари, определяющие группы параметров
• lr (float, необязательно) – скорость обучения (по умолчанию: 1e-2)
• etas (Кортеж[float, float], необязательно) – пара (etaminus, etaplis), являющиеся множителями увеличения и уменьшения (по умолчанию: (0.5, 1.2))
• шаги (Кортеж[float, float], необязательно) – пара минимального и максимального допустимых значений шагов (по умолчанию: (1e-6, 50))
• foreach (bool, необязательно) – используется ли реализация foreach оптимизатора (по умолчанию: None)
• maximize (bool, необязательно) – максимизировать параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавить группу параметров к Optimizer param_groups.

Это может быть полезно при донастройке предварительно обученной сети, поскольку замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере прогресса обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры должны быть оптимизированы вместе с группами специфических параметров оптимизации.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (словарь) – состояние оптимизатора. Должно быть объектом, возвращенным из вызова state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается в зависимости от классов оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров — это словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – Замыкание, которое переопределяет модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизируемых torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установить градиенты в None. Это, как правило, потребует меньше памяти и может незначительно улучшить производительность. Однако это меняет некоторые особенности. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить на нём операции, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запросил zero_grad(set_to_none=True) за которым следует обратный проход, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. У torch.optim оптимизаторов есть другое поведение, если градиент равен 0 или None (в одном случае он делает шаг с градиентом 0, а в другом — пропускает шаг вообще).