torch.nn.utils.clip_grads_with_norm_

torch.nn.utils.clip_grads_with_norm_(parameters, max_norm, total_norm, foreach=None) [source]

Масштабирует градиенты итерируемой последовательности параметров, используя предварительно вычисленную общую норму и заданную максимальную норму.

Градиенты будут масштабированы согласно следующему вычислению

$$grad = grad * \min(\frac{max\_norm}{total\_norm + 1e-6}, 1)$$

Градиенты изменяются на месте.

Примечание. Коэффициент масштабирования ограничен сверху значением 1.0, чтобы предотвратить усиление градиентов. Это гарантирует, что градиенты будут уменьшаться только в том случае, если общая норма превышает max_norm.

Эта функция эквивалентна torch.nn.utils.clip_grad_norm_() с предварительно вычисленной общей нормой.

Параметры:

• parameters (Iterable[Tensor] or Tensor) – итерируемая последовательность Tensor или один Tensor, градиенты которых будут нормализованы
• max_norm (float) – максимальная норма градиентов
• total_norm (Tensor) – общая норма градиентов, используемая для ограничения
• foreach (bool) – использовать более быструю реализацию на основе foreach. Если None, использовать реализацию foreach для нативных тензоров CUDA и CPU и без предупреждения переключаться на медленную реализацию для других типов устройств. По умолчанию: None

Возвращает:

None

Тип возвращаемого значения:

None