tf.nn.silu

Вычисляет функцию активации SiLU или Swish: x * sigmoid(x).

tf.nn.silu(
    features
)

Функция активации SiLU была представлена в «Gaussian Error Linear Units (GELUs)» Hendrycks et al. 2016 и «Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning» Elfwing et al. 2017, и была независимо открыта (и названа swish) в «Searching for Activation Functions» Ramachandran et al. 2017