Linear

class torch.nn.modules.linear.Linear(in_features, out_features, bias=True, device=None, dtype=None) [исходный код]

Применяет аффинное линейное преобразование к входным данным: $y = xA^T + b$.

Этот модуль поддерживает TensorFloat32.

На некоторых устройствах ROCm при использовании входных данных float16 для обратного прохода в этом модуле будет использоваться иная точность.

Параметры:

• in_features (int) – размер каждого входного примера
• out_features (int) – размер каждого выходного примера
• bias (bool) – Если задано значение False, слой не будет обучать аддитивное смещение. Значение по умолчанию: True

Форма:

• Вход: $(*, H_\text{in})$, где $*$ означает любое число измерений, включая ноль, а $H_\text{in} = \text{in\_features}$.
• Выход: $(*, H_\text{out})$, где все измерения, кроме последнего, имеют ту же форму, что и вход, а $H_\text{out} = \text{out\_features}$.

Переменные:

• weight (torch.Tensor) – обучаемые веса модуля формы $(\text{out\_features}, \text{in\_features})$. Значения инициализируются из распределения $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$
• bias – обучаемое смещение модуля формы $(\text{out\_features})$. Если bias имеет значение True, значения инициализируются из распределения $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{in\_features}}$

Примеры:

>>> m = nn.Linear(20, 30)
>>> input = torch.randn(128, 20)
>>> output = m(input)
>>> print(output.size())
torch.Size([128, 30])

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor

reset_parameters() [исходный код]

Сбрасывает параметры в соответствии с использованной в __init__ инициализацией.