torch.optim.Optimizer.zero_grad

Optimizer.zero_grad(set_to_none=False) [source]

Устанавливает градиенты всех оптимизируемых torch.Tensor в ноль.

Параметры:

set_to_none (bool) – вместо установки в ноль, установить градиенты в None. Это, как правило, потребует меньшей памяти и может немного улучшить производительность. Однако это меняет определённое поведение. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить ручные операции над ним, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запрашивает zero_grad(set_to_none=True) и затем выполняет обратное распространение, градиенты для параметров, которые не получили градиент, гарантированно будут None. 3. У torch.optim оптимизаторов есть другое поведение, если градиент равен 0 или None (в одном случае он выполняет шаг с градиентом 0, а в другом — пропускает шаг вообще).