torch.nn.utils.clip_grad.clip_grad_norm_

torch.nn.utils.clip_grad.clip_grad_norm_(parameters, max_norm, norm_type=2.0, error_if_nonfinite=False, foreach=None) [исходный код]

Ограничивает норму градиентов итерируемого набора параметров.

Норма вычисляется по нормам отдельных градиентов всех параметров так, как если бы отдельные градиенты были объединены в один вектор. Градиенты изменяются на месте.

Эта функция эквивалентна torch.nn.utils.get_total_norm(), за которой следует torch.nn.utils.clip_grads_with_norm_() с total_norm, возвращённым функцией get_total_norm.

Параметры:

• parameters (Iterable[Tensor] or Tensor) – итерируемый набор тензоров или один тензор, градиенты которого будут нормализованы
• max_norm (float) – максимальная норма градиентов
• norm_type (float, optional) – тип используемой p-нормы. Для бесконечной нормы может быть 'inf'. Значение по умолчанию: 2.0
• error_if_nonfinite (bool, optional) – если значение равно True, возникает ошибка, если общая норма градиентов из parameters равна nan, inf или -inf. Значение по умолчанию: False
• foreach (bool, optional) – использовать более быструю реализацию на основе foreach. Если значение равно None, использовать реализацию foreach для собственных тензоров CUDA и CPU, а для других типов устройств без предупреждения переключаться на медленную реализацию. Значение по умолчанию: None

Возвращает:

Общую норму градиентов параметров (рассматриваемых как один вектор).

Тип возвращаемого значения:

Tensor