torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False) [исходный код]

Поэлементно применяет функцию Sigmoid Linear Unit (SiLU).

Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$$

Примечание

См. Gaussian Error Linear Units (GELUs), где впервые была предложена SiLU (Sigmoid Linear Unit), а также Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning и Swish: a Self-Gated Activation Function, где SiLU исследовалась позднее.

Дополнительные сведения см. в описании SiLU.

Тип возвращаемого значения:

Tensor