torch.nn.utils.clip_grad_norm_

torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2.0, error_if_nonfinite=False) [source]

Ограничивает норму градиента итерируемого набора параметров.

Норма вычисляется по всем градиентам вместе, как если бы они были конкатенированы в один вектор. Градиенты изменяются на месте.

Параметры:

• parameters (Iterable[Tensor] or Tensor) – итерируемый набор тензоров или один тензор, градиенты которого будут нормализованы
• max_norm (float или int) – максимальная норма градиентов
• norm_type (float или int) – тип используемой p-нормы. Может быть 'inf' для бесконечной нормы.
• error_if_nonfinite (bool) – если True, выводится ошибка, если общая норма градиентов из parameters является nan, inf, или -inf. По умолчанию: False (будет переключено на True в будущем)

Возвращает:

Общая норма градиентов параметров (рассматривается как один вектор).

Тип возвращаемого значения:

Tensor