tf.nn.silu

Вычисляет функцию активации SiLU или Swish: x * sigmoid(beta * x).

Просмотреть псевдонимы

Основные псевдонимы

tf.nn.swish

tf.nn.silu(
    features, beta=1.0
)

beta : гиперпараметр функции активации Swish. Значение по умолчанию — 1.0.

Функция активации SiLU была представлена в работах «Гауссовы линейные блоки активации (GELU)» Hendrycks и др., 2016 и «Линейные блоки с сигмоидальным взвешиванием для аппроксимации функций нейронной сети в обучении с подкреплением» Elfwing и др., 2017, а также была независимо обнаружена (и названа Swish) в работе «Поиск функций активации» Ramachandran и др., 2017

Аргументы
`features`	`Tensor`, представляющее значения до активации.
`beta`	Объект 'Tensor', представляющий значение гиперпараметра beta.

Возвращаемое значение
Значение активации.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/nn/silu