torch.optim.Optimizer.zero_grad

Optimizer.zero_grad(set_to_none=True) [source]

Сбрасывает градиенты всех оптимизируемых torch.Tensor.

Параметры

set_to_none (bool) – вместо сброса в ноль, установить градиенты в None. Это, как правило, потребует меньшей памяти и может незначительно улучшить производительность. Однако это изменяет определенные свойства. Например: 1. Когда пользователь пытается получить доступ к градиенту и выполнить ручные операции над ним, атрибут None или тензор, заполненный нулями, будет вести себя по-разному. 2. Если пользователь запросит zero_grad(set_to_none=True) в сочетании с обратным проходом, градиенты параметров, которые не получили градиент, гарантированно будут None. 3. Некоторые оптимизаторы torch.optim ведут себя по-разному, если градиент равен 0 или None (в одном случае они выполняют шаг с градиентом 0, а в другом — пропускают шаг).