SiLU

class torch.nn.SiLU(inplace=False) [source]

Применяет функцию Sigmoid Linear Unit (SiLU) поэлементно. Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{где } \sigma(x) \text{ — логистическая сигмоида.}$$

Примечание

См. Gaussian Error Linear Units (GELUs), где SiLU (Sigmoid Linear Unit) был первоначально введён, а также Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning и Swish: a Self-Gated Activation Function, где SiLU был позже использован в экспериментах.

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, форма такая же, как у входных данных.

Примеры:

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)