Линейное

class torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None) [source]

Применяет линейное преобразование к входным данным: $y = xA^T + b$

Этот модуль поддерживает TensorFloat32.

На некоторых устройствах ROCm, при использовании входных данных с плавающей запятой 16 бит, этот модуль будет использовать разную точность для обратного прохода.

Параметры:

• in_features (int) – размер каждого входного образца
• out_features (int) – размер каждого выходного образца
• bias (bool) – Если установлено в False, слой не будет обучаться добавочному смещению. Значение по умолчанию: True

Форма:

• Вход: $(*, H_{in})$ где $*$ означает любое количество измерений, включая ноль, и $H_{in} = \text{in\_features}$.
• Выход: $(*, H_{out})$ где все измерения, кроме последнего, имеют такую же форму, как и вход, и $H_{out} = \text{out\_features}$.

Переменные:

• weight (torch.Tensor) – обучимые веса модуля с формой $(\text{out\_features}, \text{in\_features})$. Значения инициализируются из $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$
• bias – обучимое смещение модуля с формой $(\text{out\_features})$. Если bias равно True, значения инициализируются из $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$

Примеры:

>>> m = nn.Linear(20, 30)
>>> input = torch.randn(128, 20)
>>> output = m(input)
>>> print(output.size())
torch.Size([128, 30])