SiLU

class torch.nn.SiLU(inplace=False) [исходный код]

Поэлементно применяет функцию Sigmoid Linear Unit (SiLU).

Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$$

Примечание

См. статью Gaussian Error Linear Units (GELUs), в которой изначально была введена функция SiLU (Sigmoid Linear Unit), а также статьи Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning и Swish: a Self-Gated Activation Function, в которых позднее исследовалась функция SiLU.

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, той же формы, что и вход.

Примеры:

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor