torch.nn.utils.weight_norm.weight_norm

torch.nn.utils.weight_norm.weight_norm(module, name='weight', dim=0) [source]

Применяет нормализацию весов к параметру указанного модуля.

$$\mathbf{w} = g \dfrac{\mathbf{v}}{\|\mathbf{v}\|}$$

Нормализация весов — это перепараметризация, которая отделяет величину тензора весов от его направления. Параметр, указанный в name (например, 'weight'), заменяется двумя параметрами: один задаёт величину (например, 'weight_g'), а другой — направление (например, 'weight_v'). Нормализация весов реализована с помощью хука, который пересчитывает тензор весов по его величине и направлению перед каждым вызовом forward().

По умолчанию, при использовании dim=0, норма вычисляется отдельно для каждого выходного канала/плоскости. Чтобы вычислить норму для всего тензора весов, используйте dim=None.

См. https://arxiv.org/abs/1602.07868

Предупреждение

Эта функция устарела. Используйте torch.nn.utils.parametrizations.weight_norm(), которая использует современный API параметризации. Новая weight_norm совместима с state_dict, созданными с помощью старой weight_norm.

Руководство по миграции:

• Величина (weight_g) и направление (weight_v) теперь представлены как parametrizations.weight.original0 и parametrizations.weight.original1 соответственно. Если вас это беспокоит, оставьте комментарий в pytorch/pytorch#102999
• Чтобы удалить перепараметризацию нормализации весов, используйте torch.nn.utils.parametrize.remove_parametrizations().
• Теперь вес пересчитывается не один раз при прямом проходе модуля, а при каждом обращении к нему. Чтобы восстановить прежнее поведение, используйте torch.nn.utils.parametrize.cached() перед вызовом нужного модуля.

Параметры:

• module (Module) – содержащий модуль
• name (str, необязательно) – имя параметра веса
• dim (int, необязательно) – размерность, по которой вычисляется норма

Возвращает:

Исходный модуль с хуком нормализации весов

Тип возвращаемого значения:

T_module

Пример:

>>> m = weight_norm(nn.Linear(20, 40), name='weight')
>>> m
Linear(in_features=20, out_features=40, bias=True)
>>> m.weight_g.size()
torch.Size([40, 1])
>>> m.weight_v.size()
torch.Size([40, 20])