LBFGS

class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-07, tolerance_change=1e-09, history_size=100, line_search_fn=None, *, maximize=False) [источник]

Реализует алгоритм L-BFGS.

В значительной степени основан на minFunc.

Предупреждение

Этот оптимизатор не поддерживает параметры для отдельных параметров и группы параметров (может быть только одна группа).

Предупреждение

В настоящее время все параметры должны находиться на одном устройстве. Это будет улучшено в будущем.

Примечание

Этот оптимизатор требует очень много памяти (ему требуется дополнительно param_bytes * (history_size + 1) байт). Если он не помещается в памяти, попробуйте уменьшить размер истории или использовать другой алгоритм.

Параметры:

• params (итерируемый объект) – итерируемый объект с параметрами для оптимизации. Параметры должны быть вещественными числами.
• lr (float, необязательно) – скорость обучения (по умолчанию: 1)
• max_iter (int, необязательно) – максимальное количество итераций на шаг оптимизации (по умолчанию: 20)
• max_eval (int, необязательно) – максимальное количество вычислений функции на шаг оптимизации (по умолчанию: max_iter * 1.25).
• tolerance_grad (float, необязательно) – допуск завершения для оптимальности первого порядка (по умолчанию: 1e-7).
• tolerance_change (float, необязательно) – допуск завершения для изменений значения функции и параметров (по умолчанию: 1e-9).
• history_size (int, необязательно) – размер истории обновлений (по умолчанию: 100).
• line_search_fn (str, необязательно) – либо ‘strong_wolfe’, либо None (по умолчанию: None).
• maximize (bool, необязательно) – максимизировать целевую функцию по параметрам вместо минимизации (по умолчанию: False)

add_param_group(param_group) [источник]

Добавляет группу параметров в Optimizer s param_groups.

Это может быть полезно при тонкой настройке предварительно обученной сети: замороженные слои можно сделать обучаемыми и добавлять в Optimizer по мере обучения.

Параметры:

param_group (dict) – указывает, какие тензоры следует оптимизировать, а также параметры оптимизации, специфичные для группы.

load_state_dict(state_dict) [источник]

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращённым при вызове state_dict().

Предупреждение

Обязательно вызовите этот метод после инициализации torch.optim.lr_scheduler.LRScheduler, так как его вызов до этого перезапишет загруженные скорости обучения.

Примечание

Имена параметров (если они указаны под ключом “param_names” каждой группы параметров в state_dict()) не влияют на процесс загрузки. Чтобы использовать имена параметров в особых случаях (например, если параметры в загруженном словаре состояния отличаются от параметров, инициализированных в оптимизаторе), следует реализовать пользовательский register_load_state_dict_pre_hook для соответствующей адаптации загруженного словаря. Если param_names существуют в загруженном словаре состояния param_groups, они будут сохранены и переопределят текущие имена в состоянии оптимизатора, если они там есть. Если их нет в загруженном словаре состояния, param_names оптимизатора останутся без изменений.

Пример

>>> optimizer = ...  # initialized optimizer matching the saved state
>>> scheduler1 = torch.optim.lr_scheduler.LinearLR(
...     optimizer,
...     start_factor=0.1,
...     end_factor=1,
...     total_iters=20,
... )
>>> scheduler2 = torch.optim.lr_scheduler.CosineAnnealingLR(
...     optimizer,
...     T_max=80,
...     eta_min=3e-5,
... )
>>> lr = torch.optim.lr_scheduler.SequentialLR(
...     optimizer,
...     schedulers=[scheduler1, scheduler2],
...     milestones=[20],
... )
>>> lr.load_state_dict(torch.load("./save_seq.pt"))
>>> # now load the optimizer checkpoint after loading the LRScheduler
>>> optimizer.load_state_dict(torch.load("./save_optim.pt"))

register_load_state_dict_post_hook(hook, prepend=False) [источник]

Регистрирует постхук load_state_dict, который будет вызван после вызова load_state_dict(). Он должен иметь следующую сигнатуру:

hook(optimizer) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора.

Хук будет вызван с аргументом self после вызова load_state_dict для self. Зарегистрированный хук можно использовать для постобработки после загрузки state_dict с помощью load_state_dict.

Параметры:

• hook (Callable) – определённый пользователем хук для регистрации.
• prepend (bool) – если True, указанный постhook будет вызван до всех уже зарегистрированных постхуков для load_state_dict. В противном случае указанный hook будет вызван после всех уже зарегистрированных постхуков. (по умолчанию: False)

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_load_state_dict_pre_hook(hook, prepend=False) [источник]

Регистрирует предхук load_state_dict, который будет вызван перед вызовом load_state_dict(). Он должен иметь следующую сигнатуру:

hook(optimizer, state_dict) -> state_dict or None

Аргумент optimizer — это используемый экземпляр оптимизатора, а аргумент state_dict — поверхностная копия state_dict, переданного пользователем в load_state_dict. Хук может изменить state_dict на месте или, при желании, вернуть новый. Если возвращается state_dict, он будет загружен в оптимизатор.

Хук будет вызван с аргументами self и state_dict перед вызовом load_state_dict для self. Зарегистрированный хук можно использовать для предварительной обработки перед вызовом load_state_dict.

Параметры:

• hook (Callable) – определённый пользователем хук для регистрации.
• prepend (bool) – если True, указанный предhook будет вызван до всех уже зарегистрированных предхуков для load_state_dict. В противном случае указанный hook будет вызван после всех уже зарегистрированных предхуков. (по умолчанию: False)

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_state_dict_post_hook(hook, prepend=False) [источник]

Регистрирует постхук словаря состояния, который будет вызван после вызова state_dict().

Он должен иметь следующую сигнатуру:

hook(optimizer, state_dict) -> state_dict or None

Хук будет вызван с аргументами self и state_dict после создания state_dict для self. Хук может изменить state_dict на месте или, при желании, вернуть новый. Зарегистрированный хук можно использовать для постобработки state_dict перед его возвратом.

Параметры:

• hook (Callable) – определённый пользователем хук для регистрации.
• prepend (bool) – если True, указанный постhook будет вызван до всех уже зарегистрированных постхуков для state_dict. В противном случае указанный hook будет вызван после всех уже зарегистрированных постхуков. (по умолчанию: False)

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_state_dict_pre_hook(hook, prepend=False) [источник]

Регистрирует предхук словаря состояния, который будет вызван перед вызовом state_dict().

Он должен иметь следующую сигнатуру:

hook(optimizer) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора. Хук будет вызван с аргументом self перед вызовом state_dict для self. Зарегистрированный хук можно использовать для предварительной обработки перед вызовом state_dict.

Параметры:

• hook (Callable) – определённый пользователем хук для регистрации.
• prepend (bool) – если True, указанный предhook будет вызван до всех уже зарегистрированных предхуков для state_dict. В противном случае указанный hook будет вызван после всех уже зарегистрированных предхуков. (по умолчанию: False)

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_step_post_hook(hook) [источник]

Регистрирует постхук шага оптимизатора, который будет вызван после шага оптимизатора.

Он должен иметь следующую сигнатуру:

hook(optimizer, args, kwargs) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора.

Параметры:

hook (Callable) – определённый пользователем хук для регистрации.

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook) [источник]

Регистрирует предхук шага оптимизатора, который будет вызван перед шагом оптимизатора.

Он должен иметь следующую сигнатуру:

hook(optimizer, args, kwargs) -> None or modified args and kwargs

Аргумент optimizer — это используемый экземпляр оптимизатора. Если предхук изменяет args и kwargs, преобразованные значения возвращаются в виде кортежа, содержащего new_args и new_kwargs.

Параметры:

hook (Callable) – определённый пользователем хук для регистрации.

Возвращает:

дескриптор, с помощью которого можно удалить добавленный хук, вызвав handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

state_dict() [источник]

Возвращает состояние оптимизатора в виде dict.

Он содержит две записи:

• state: a Dict holding current optimization state. Its content

  отличается у разных классов оптимизаторов, но сохраняются некоторые общие характеристики. Например, состояние сохраняется отдельно для каждого параметра, а сам параметр НЕ сохраняется. state — это словарь, сопоставляющий идентификаторы параметров со словарём состояния, соответствующего каждому параметру.

• param_groups: a List containing all parameter groups where each

  Группа параметров — это словарь. Каждая группа параметров содержит метаданные, относящиеся к оптимизатору, например скорость обучения и затухание весов, а также список идентификаторов параметров этой группы. Если группа параметров была инициализирована с помощью named_parameters(), содержимое names также будет сохранено в словаре состояния.

ПРИМЕЧАНИЕ: Идентификаторы параметров могут выглядеть как индексы, но на самом деле это просто идентификаторы, связывающие состояние с param_group. При загрузке из state_dict оптимизатор объединит param_group params (целочисленные идентификаторы) и оптимизатор param_groups (фактические nn.Parameter s), чтобы сопоставить состояния БЕЗ дополнительной проверки.

Возвращённый словарь состояния может выглядеть примерно так:

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

Тип возвращаемого значения:

dict[str, Any]

step(closure) [источник]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable) – замыкание, повторно вычисляющее модель и возвращающее значение функции потерь.

zero_grad(set_to_none=True) [источник]

Сбрасывает градиенты всех оптимизируемых torch.Tensor s.

Параметры:

set_to_none (bool, необязательно) –

Вместо установки нулевого значения задать градиенты равными None. По умолчанию: True

Обычно это снижает потребление памяти и может немного повысить производительность. Однако это меняет некоторые виды поведения. Например:

1. При попытке получить доступ к градиенту и выполнить над ним операции вручную атрибут None и тензор, заполненный нулями, будут вести себя по-разному.
2. Если пользователь запрашивает zero_grad(set_to_none=True), а затем выполняет обратное распространение, .grads гарантированно будут равны None для параметров, не получивших градиент.
3. Оптимизаторы torch.optim ведут себя по-разному, если градиент равен 0 или None (в одном случае шаг выполняется с градиентом 0, а в другом шаг полностью пропускается).