torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False) [source]

Применяет функцию Sigmoid Linear Unit (SiLU), поэлементно. Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$$

Примечание

См. Gaussian Error Linear Units (GELUs), где функция SiLU (Sigmoid Linear Unit) была первоначально предложена, и см. Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning и Swish: a Self-Gated Activation Function, где функция SiLU позже использовалась в экспериментах.

См. SiLU для получения более подробной информации.

Тип возвращаемого значения:

Тензор