ASGD

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0, foreach=None, maximize=False, differentiable=False, capturable=False) [источник]

Реализует усреднённый стохастический градиентный спуск.

Этот метод предложен в статье Ускорение стохастической аппроксимации с помощью усреднения.

Параметры:

• params (итерируемый объект) – итерируемый объект с параметрами или именованными параметрами для оптимизации либо итерируемый объект со словарями, задающими группы параметров. При использовании именованных параметров все параметры во всех группах должны иметь имена
• lr (float, Tensor, необязательно) – скорость обучения (по умолчанию: 1e-2)
• lambd (float, необязательно) – коэффициент затухания (по умолчанию: 1e-4)
• alpha (float, необязательно) – степень для обновления eta (по умолчанию: 0.75)
• t0 (float, необязательно) – момент начала усреднения (по умолчанию: 1e6)
• weight_decay (float, необязательно) – затухание весов (штраф L2) (по умолчанию: 0)
• foreach (bool, необязательно) – использовать ли реализацию оптимизатора с foreach. Если пользователь не указал значение (то есть foreach равен None), на CUDA будет предпринята попытка использовать foreach вместо реализации с циклом for, поскольку обычно она значительно производительнее. Обратите внимание, что реализация с foreach использует примерно на sizeof(params) больше пиковой памяти, чем версия с циклом for, поскольку промежуточные данные представлены списком тензоров, а не одним тензором. Если памяти недостаточно, передавайте оптимизатору меньше параметров за раз или установите для этого флага значение False (по умолчанию: None)
• maximize (bool, необязательно) – максимизировать целевую функцию по параметрам вместо её минимизации (по умолчанию: False)
• differentiable (bool, необязательно) – должен ли autograd выполняться через шаг оптимизатора во время обучения. В противном случае функция step() выполняется в контексте torch.no_grad(). Значение True может снизить производительность, поэтому оставьте False, если не планируете выполнять autograd через этот экземпляр (по умолчанию: False)
• capturable (bool, необязательно) – безопасно ли захватывать этот экземпляр в граф, например, для графов CUDA или поддержки torch.compile. Тензоры можно захватывать только на поддерживаемых ускорителях. Значение True может снизить производительность вне графа, поэтому, если вы не планируете захватывать этот экземпляр в граф, оставьте False (по умолчанию: False)

add_param_group(param_group) [источник]

Добавляет группу параметров в Optimizer s param_groups.

Это может быть полезно при дообучении предварительно обученной сети: замороженные слои можно сделать обучаемыми и добавлять в Optimizer по мере обучения.

Параметры:

param_group (dict) – задаёт, какие тензоры следует оптимизировать, а также параметры оптимизации, специфичные для этой группы.

load_state_dict(state_dict) [источник]

Загружает состояние оптимизатора.

Параметры:

state_dict (dict) – состояние оптимизатора. Должно быть объектом, возвращённым вызовом state_dict().

Предупреждение

Вызывайте этот метод после инициализации torch.optim.lr_scheduler.LRScheduler, поскольку его предварительный вызов перезапишет загруженные скорости обучения.

Примечание

Имена параметров (если они заданы под ключом “param_names” каждой группы параметров в state_dict()) не влияют на процесс загрузки. Чтобы использовать имена параметров в особых случаях (например, если параметры в загруженном словаре состояния отличаются от параметров, инициализированных в оптимизаторе), необходимо реализовать пользовательский register_load_state_dict_pre_hook для соответствующей адаптации загруженного словаря. Если в загруженном словаре состояния есть param_names, param_groups они будут сохранены и переопределят текущие имена, если таковые имеются, в состоянии оптимизатора. Если в загруженном словаре состояния их нет, param_names оптимизатора останутся без изменений.

Пример

>>> optimizer = ...  # initialized optimizer matching the saved state
>>> scheduler1 = torch.optim.lr_scheduler.LinearLR(
...     optimizer,
...     start_factor=0.1,
...     end_factor=1,
...     total_iters=20,
... )
>>> scheduler2 = torch.optim.lr_scheduler.CosineAnnealingLR(
...     optimizer,
...     T_max=80,
...     eta_min=3e-5,
... )
>>> lr = torch.optim.lr_scheduler.SequentialLR(
...     optimizer,
...     schedulers=[scheduler1, scheduler2],
...     milestones=[20],
... )
>>> lr.load_state_dict(torch.load("./save_seq.pt"))
>>> # now load the optimizer checkpoint after loading the LRScheduler
>>> optimizer.load_state_dict(torch.load("./save_optim.pt"))

register_load_state_dict_post_hook(hook, prepend=False) [источник]

Регистрирует пост-хук load_state_dict, который будет вызван после вызова load_state_dict(). Он должен иметь следующую сигнатуру:

hook(optimizer) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора.

Хук будет вызван с аргументом self после вызова load_state_dict для self. Зарегистрированный хук можно использовать для постобработки после того, как load_state_dict загрузил state_dict.

Параметры:

• hook (Callable) – пользовательский хук, который нужно зарегистрировать.
• prepend (bool) – если True, переданный пост-хук hook будет вызван до всех уже зарегистрированных пост-хуков для load_state_dict. В противном случае переданный hook будет вызван после всех уже зарегистрированных пост-хуков. (по умолчанию: False)

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_load_state_dict_pre_hook(hook, prepend=False) [источник]

Регистрирует пред-хук load_state_dict, который будет вызван до вызова load_state_dict(). Он должен иметь следующую сигнатуру:

hook(optimizer, state_dict) -> state_dict or None

Аргумент optimizer — это используемый экземпляр оптимизатора, а аргумент state_dict — поверхностная копия state_dict, переданного пользователем в load_state_dict. Хук может изменить state_dict на месте или при необходимости вернуть новый. Если возвращён state_dict, он будет загружен в оптимизатор.

Хук будет вызван с аргументами self и state_dict до вызова load_state_dict для self. Зарегистрированный хук можно использовать для предварительной обработки перед вызовом load_state_dict.

Параметры:

• hook (Callable) – пользовательский хук, который нужно зарегистрировать.
• prepend (bool) – если True, переданный пред-хук hook будет вызван до всех уже зарегистрированных пред-хуков для load_state_dict. В противном случае переданный hook будет вызван после всех уже зарегистрированных пред-хуков. (по умолчанию: False)

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_state_dict_post_hook(hook, prepend=False) [источник]

Регистрирует пост-хук словаря состояния, который будет вызван после вызова state_dict().

Он должен иметь следующую сигнатуру:

hook(optimizer, state_dict) -> state_dict or None

Хук будет вызван с аргументами self и state_dict после создания state_dict для self. Хук может изменить state_dict на месте или при необходимости вернуть новый. Зарегистрированный хук можно использовать для постобработки state_dict перед его возвратом.

Параметры:

• hook (Callable) – пользовательский хук, который нужно зарегистрировать.
• prepend (bool) – если True, переданный пост-хук hook будет вызван до всех уже зарегистрированных пост-хуков для state_dict. В противном случае переданный hook будет вызван после всех уже зарегистрированных пост-хуков. (по умолчанию: False)

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_state_dict_pre_hook(hook, prepend=False) [источник]

Регистрирует пред-хук словаря состояния, который будет вызван до вызова state_dict().

Он должен иметь следующую сигнатуру:

hook(optimizer) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора. Хук будет вызван с аргументом self до вызова state_dict для self. Зарегистрированный хук можно использовать для предварительной обработки перед вызовом state_dict.

Параметры:

• hook (Callable) – пользовательский хук, который нужно зарегистрировать.
• prepend (bool) – если True, переданный пред-хук hook будет вызван до всех уже зарегистрированных пред-хуков для state_dict. В противном случае переданный hook будет вызван после всех уже зарегистрированных пред-хуков. (по умолчанию: False)

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_step_post_hook(hook) [источник]

Регистрирует пост-хук шага оптимизатора, который будет вызван после выполнения шага оптимизатора.

Он должен иметь следующую сигнатуру:

hook(optimizer, args, kwargs) -> None

Аргумент optimizer — это используемый экземпляр оптимизатора.

Параметры:

hook (Callable) – пользовательский хук, который нужно зарегистрировать.

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook) [источник]

Регистрирует пред-хук шага оптимизатора, который будет вызван перед выполнением шага оптимизатора.

Он должен иметь следующую сигнатуру:

hook(optimizer, args, kwargs) -> None or modified args and kwargs

Аргумент optimizer — это используемый экземпляр оптимизатора. Если пред-хук изменяет args и kwargs, преобразованные значения возвращаются в виде кортежа, содержащего new_args и new_kwargs.

Параметры:

hook (Callable) – пользовательский хук, который нужно зарегистрировать.

Возвращает:

дескриптор, который можно использовать для удаления добавленного хука вызовом handle.remove()

Тип возвращаемого значения:

torch.utils.hooks.RemovableHandle

state_dict() [источник]

Возвращает состояние оптимизатора в виде dict.

Оно содержит две записи:

• state: a Dict holding current optimization state. Its content

  зависит от класса оптимизатора, но есть общие особенности. Например, состояние сохраняется для каждого параметра, а сам параметр НЕ сохраняется. state — это словарь, сопоставляющий идентификаторы параметров со словарём состояния для каждого параметра.

• param_groups: a List containing all parameter groups where each

  Группа параметров представляет собой словарь. Каждая группа параметров содержит метаданные, относящиеся к оптимизатору, например скорость обучения и затухание весов, а также список идентификаторов параметров, входящих в группу. Если группа параметров была инициализирована с помощью named_parameters(), имена также будут сохранены в словаре состояния.

ПРИМЕЧАНИЕ: идентификаторы параметров могут выглядеть как индексы, но это лишь идентификаторы, связывающие состояние с param_group. При загрузке из state_dict оптимизатор сопоставляет params param_group (целочисленные идентификаторы) и param_groups оптимизатора (фактические nn.Parameter s), чтобы связать состояния БЕЗ дополнительной проверки.

Возвращённый словарь состояния может выглядеть примерно так:

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

Тип возвращаемого значения:

dict[str, Any]

step(closure=None) [источник]

Выполняет один шаг оптимизации.

Параметры:

closure (Callable, необязательно) – замыкание, повторно вычисляющее модель и возвращающее значение функции потерь.

zero_grad(set_to_none=True) [источник]

Сбрасывает градиенты всех оптимизируемых torch.Tensor s.

Параметры:

set_to_none (bool, необязательно) –

Вместо установки нулевого значения установить для градиентов значение None. По умолчанию: True

В целом это уменьшает объём используемой памяти и может немного повысить производительность. Однако это меняет некоторые особенности поведения. Например:

1. Когда пользователь пытается получить доступ к градиенту и выполнить над ним операции вручную, атрибут None и тензор, заполненный нулями, ведут себя по-разному.
2. Если пользователь вызывает zero_grad(set_to_none=True), а затем выполняет обратный проход, для .grads гарантированно будет установлено значение None у параметров, не получивших градиент.
3. torch.optim оптимизаторы ведут себя по-разному, если градиент равен 0 или None (в первом случае выполняется шаг с нулевым градиентом, во втором шаг полностью пропускается).