torch.nn.utils.clip_grad_norm_

torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2.0, error_if_nonfinite=False, foreach=None) [исходный код]

Ограничивает норму градиента для итерируемой последовательности параметров.

Норма вычисляется по нормам отдельных градиентов всех параметров, как если бы эти нормы были объединены в один вектор. Градиенты изменяются на месте.

Эта функция эквивалентна torch.nn.utils.get_total_norm(), за которой следует torch.nn.utils.clip_grads_with_norm_() с total_norm, возвращённым функцией get_total_norm.

Параметры:

• parameters (Iterable[Tensor] or Tensor) – итерируемая последовательность тензоров или один тензор, градиенты которых будут нормализованы
• max_norm (float) – максимальная норма градиентов
• norm_type (float, необязательно) – тип используемой p-нормы. Для бесконечной нормы можно указать 'inf'. Значение по умолчанию: 2.0
• error_if_nonfinite (bool, необязательно) – если True, возникает ошибка, когда общая норма градиентов из parameters равна nan, inf или -inf. Значение по умолчанию: False
• foreach (bool, необязательно) – использовать более быструю реализацию на основе foreach. Если None, для нативных тензоров CUDA и CPU используется реализация foreach, а для других типов устройств без уведомления применяется медленная реализация. Значение по умолчанию: None

Возвращает:

Общую норму градиентов параметров (рассматриваемых как один вектор).

Тип возвращаемого значения:

Tensor