LBFGS

class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-07, tolerance_change=1e-09, history_size=100, line_search_fn=None) [source]

Реализует алгоритм L-BFGS, сильно вдохновленный minFunc.

Предупреждение

Этот оптимизатор не поддерживает параметры на уровне отдельных параметров и группы параметров (может быть только одна).

Предупреждение

В данный момент все параметры должны быть на одном устройстве. Это будет улучшено в будущем.

Примечание

Это очень ресурсоёмкий оптимизатор (он требует дополнительного param_bytes * (history_size + 1) байтов). Если он не помещается в оперативную память, попробуйте уменьшить размер истории или используйте другой алгоритм.

Параметры:

• lr (float) – скорость обучения (по умолчанию: 1)
• max_iter (int) – максимальное количество итераций на шаг оптимизации (по умолчанию: 20)
• max_eval (int) – максимальное количество вычислений функции на шаг оптимизации (по умолчанию: max_iter * 1.25).
• tolerance_grad (float) – терпимость к первой производной для прекращения оптимизации (по умолчанию: 1e-5).
• tolerance_change (float) – терпимость к изменениям значения функции/параметров для прекращения оптимизации (по умолчанию: 1e-9).
• history_size (int) – размер истории обновлений (по умолчанию: 100).
• line_search_fn (str) – либо ‘strong_wolfe’, либо None (по умолчанию: None).

add_param_group(param_group)

Добавляет группу параметров к оптимизатору Optimizer .

Это может быть полезно при доработке предварительно обученной сети, так как замороженные слои можно сделать обучаемыми и добавить в Optimizer по мере продвижения обучения.

Параметры:

param_group (dict) – Указывает, какие тензоры должны быть оптимизированы вместе с группами параметров.

load_state_dict(state_dict)

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращенным из вызова state_dict().

state_dict()

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state - словарь, содержащий текущее состояние оптимизации. Его содержимое

  отличается в зависимости от классов оптимизаторов.

• param_groups - список, содержащий все группы параметров, где каждая

  группа параметров является словарем

step(closure) [source]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable) – Замыкание, которое повторно вычисляет модель и возвращает потерю.

zero_grad(set_to_none=False)

Устанавливает градиенты всех оптимизированных torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установить градиенты в None. Это, как правило, уменьшит использование памяти и может незначительно улучшить производительность. Однако, это изменяет определенные свойства. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить ручные операции с ним, атрибут None или тензор, заполненный 0, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True) за которым следует обратное распространение, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом - пропускает шаг целиком).