torch.nn.utils.weight_norm

torch.nn.utils.weight_norm(module, name='weight', dim=0) [исходный код]

Применяет нормализацию весов к параметру указанного модуля.

$$\mathbf{w} = g \dfrac{\mathbf{v}}{\|\mathbf{v}\|}$$

Нормализация весов — это перепараметризация, которая отделяет величину тензора весов от его направления. Она заменяет параметр, заданный с помощью name (например, 'weight'), двумя параметрами: один задаёт величину (например, 'weight_g'), а другой — направление (например, 'weight_v'). Нормализация весов реализована с помощью хука, который пересчитывает тензор весов по величине и направлению перед каждым вызовом forward().

По умолчанию, при использовании dim=0, норма вычисляется независимо для каждого выходного канала/плоскости. Чтобы вычислить норму для всего тензора весов, используйте dim=None.

См. https://arxiv.org/abs/1602.07868

Предупреждение

Эта функция устарела. Используйте torch.nn.utils.parametrizations.weight_norm(), в которой применяется современный API параметризации. Новая weight_norm совместима с state_dict, созданными с помощью старых weight_norm.

Руководство по миграции:

• Величина (weight_g) и направление (weight_v) теперь представлены соответственно как parametrizations.weight.original0 и parametrizations.weight.original1. Если вас это беспокоит, оставьте комментарий в pytorch/pytorch#102999
• Чтобы удалить перепараметризацию нормализации весов, используйте torch.nn.utils.parametrize.remove_parametrizations().
• Теперь вес пересчитывается не один раз при выполнении модуля, а при каждом обращении к нему. Чтобы восстановить прежнее поведение, используйте torch.nn.utils.parametrize.cached() перед вызовом нужного модуля.

Параметры:

• module (Module) – содержащий модуль
• name (str, необязательно) – имя параметра веса
• dim (int, необязательно) – измерение, по которому вычисляется норма

Возвращает:

Исходный модуль с хуком нормализации весов

Тип возвращаемого значения:

T_module

Пример:

>>> m = weight_norm(nn.Linear(20, 40), name='weight')
>>> m
Linear(in_features=20, out_features=40, bias=True)
>>> m.weight_g.size()
torch.Size([40, 1])
>>> m.weight_v.size()
torch.Size([40, 20])