Adadelta

class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0, foreach=None, *, maximize=False) [source]

Реализует алгоритм Adadelta.

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{входные данные} : \gamma \text{ (lr)}, \: \theta_0 \text{ (параметры)}, \: f(\theta) \text{ (целевая функция)}, \: \rho \text{ (затухание)}, \: \lambda \text{ (сглаживание)} \\ &\textbf{инициализация} : v_0 \leftarrow 0 \: \text{ (среднее квадрат)}, \: u_0 \leftarrow 0 \: \text{ (накопление переменных)} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{для} \: t=1 \: \textbf{по} \: \ldots \: \textbf{сделать} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm} v_t \leftarrow v_{t-1} \rho + g^2_t (1 - \rho) \\ &\hspace{5mm}\Delta x_t \leftarrow \frac{\sqrt{u_{t-1} + \epsilon }}{ \sqrt{v_t + \epsilon} }g_t \hspace{21mm} \\ &\hspace{5mm} u_t \leftarrow u_{t-1} \rho + \Delta x^2_t (1 - \rho) \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1} - \gamma \Delta x_t \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{возвратить} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

Для получения дополнительной информации об алгоритме см. ADADELTA: An Adaptive Learning Rate Method.

Параметры:

• params (iterable) – итерируемый список параметров для оптимизации или словари, определяющие группы параметров
• rho (float, необязательно) – коэффициент, используемый для вычисления усредненных квадратов градиентов (по умолчанию: 0.9)
• eps (float, необязательно) – значение, добавляемое к знаменателю для повышения числовой устойчивости (по умолчанию: 1e-6)
• lr (float, необязательно) – коэффициент, масштабирующий дельту перед применением к параметрам (по умолчанию: 1.0)
• weight_decay (float, необязательно) – сглаживание (штраф L2) (по умолчанию: 0)
• foreach (bool, необязательно) – используется ли реализация оптимизатора foreach (по умолчанию: None)
• maximize (bool, необязательно) – увеличить параметры на основе целевой функции вместо минимизации (по умолчанию: False)

add_param_group(param_group)

Добавляет группу параметров в оптимизаторы.

Это может быть полезно при донастройке предварительно обученной сети, поскольку замороженные слои можно сделать обучаемыми и добавить в оптимизаторы по мере продвижения обучения.

Параметры:

param_group (dict) – Указываются тензоры, которые необходимо оптимизировать вместе с группами параметров.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращаемым вызовом метода state_dict().

state_dict()

Возвращает состояние оптимизатора как словарь.

Он содержит два элемента:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается между классами оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров – словарь

step(closure=None) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – Замыкание, которое повторно вычисляет модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизируемых torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установить градиенты в None. Это в целом потребует меньшего объема памяти и может незначительно улучшить производительность. Однако это изменяет некоторые поведения. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить ручные операции с ним, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True), за которым следует обратное распространение, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в одном случае они выполняют шаг с градиентом 0, а в другом пропускают шаг вообще).