torch.nn.utils.get_total_norm

torch.nn.utils.get_total_norm(tensors, norm_type=2.0, error_if_nonfinite=False, foreach=None) [source]

Вычисляет норму итерируемой последовательности тензоров.

Норма вычисляется на основе норм отдельных тензоров, как если бы нормы отдельных тензоров были объединены в один вектор.

Параметры:

• tensors (Iterable[Tensor] or Tensor) – итерируемая последовательность тензоров или отдельный тензор, который будет нормализован
• norm_type (float) – тип используемой p-нормы. Для бесконечной нормы может быть задано 'inf'.
• error_if_nonfinite (bool) – если True, возникает ошибка, когда общая норма tensors равна nan, inf или -inf. По умолчанию: False
• foreach (bool) – использовать более быструю реализацию на основе foreach. Если None, использовать реализацию foreach для собственных тензоров CUDA и CPU и незаметно переключаться на медленную реализацию для других типов устройств. По умолчанию: None

Возвращает:

Общая норма тензоров (рассматриваемых как единый вектор).

Тип возвращаемого значения:

Tensor