torch.nn.utils.clip_grad_norm_

torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2.0, error_if_nonfinite=False, foreach=None) [source]

Обрезает норму градиента для итерируемого набора параметров.

Норма вычисляется по всем градиентам вместе, как если бы они были конкатенированы в один вектор. Градиенты изменяются на месте.

Параметры

• parameters (Iterable[Tensor] or Tensor) – итерируемый набор тензоров или один тензор, для которого будут нормализованы градиенты
• max_norm (float) – максимальная норма градиентов
• norm_type (float) – тип используемой p-нормы. Может быть 'inf' для бесконечной нормы.
• error_if_nonfinite (bool) – если True, выбрасывается ошибка, если общая норма градиентов из parameters является nan, inf, или -inf. Значение по умолчанию: False (в будущем будет изменено на True)
• foreach (bool) – использовать более быструю реализацию foreach. Если None, использовать реализацию foreach для CUDA и CPU-родных тензоров, а в противном случае переходить к медленной реализации для других типов устройств. Значение по умолчанию: None

Возвращает

Общая норма градиентов параметров (рассматриваемых как один вектор).

Тип возвращаемого значения

Tensor