tf.nn.silu
Вычисляет функцию активации SiLU или Swish: x * sigmoid(beta * x).
tf.nn.silu(
features, beta=1.0
)
beta : Гиперпараметр для функции активации Swish. Значение по умолчанию 1.0.
Функция активации SiLU была представлена в работе "Gaussian Error Linear Units (GELUs)" Hendrycks et al. 2016 и "Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning" Elfwing et al. 2017, и была независимо открыта (и названа swish) в работе "Searching for Activation Functions" Ramachandran et al. 2017
| Аргументы | |
|---|---|
features | A Tensor представляющий значения предварительной активации. |
beta | A 'Tensor' представляющий значение гиперпараметра beta. |
| Возвращаемые значения | |
|---|---|
| Значение активации. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/nn/silu
