torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False) [source]

Применяет функцию Sigmoid Linear Unit (SiLU) поэлементно. Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{где } \sigma(x) \text{ — логистическая сигмоида.}$$

Примечание

См. Gaussian Error Linear Units (GELUs), где функция SiLU (Sigmoid Linear Unit) была первоначально введена, и см. Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning и Swish: a Self-Gated Activation Function, где SiLU использовалась позже.

См. SiLU для более подробной информации.

Тип возвращаемого значения

Тензор