LazyLinear

class torch.nn.LazyLinear(out_features, bias=True, device=None, dtype=None) [исходный код]

Модуль torch.nn.Linear, в котором выводится in_features.

В этом модуле weight и bias относятся к классу torch.nn.UninitializedParameter. Они будут инициализированы после первого вызова forward, после чего модуль станет обычным модулем torch.nn.Linear. Аргумент in_features для Linear выводится на основе input.shape[-1].

Дополнительную документацию о ленивых модулях и их ограничениях см. в разделе torch.nn.modules.lazy.LazyModuleMixin.

Параметры:

• out_features (int) – размер каждого выходного образца
• bias (UninitializedParameter) – если установлено значение False, слой не будет обучать аддитивное смещение. По умолчанию: True

Переменные:

• weight (torch.nn.parameter.UninitializedParameter) – обучаемые веса модуля формы $(\text{out\_features}, \text{in\_features})$. Значения инициализируются из $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$
• bias (torch.nn.parameter.UninitializedParameter) – обучаемое смещение модуля формы $(\text{out\_features})$. Если bias равно True, значения инициализируются из $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$

cls_to_become [исходный код]

псевдоним Linear

initialize_parameters(input) [исходный код]

Выводит in_features на основе input и инициализирует параметры.

reset_parameters() [исходный код]

Сбрасывает параметры, используя способ инициализации, применённый в __init__.