tf.keras.activations.hard_silu

Функция активации Hard SiLU, также известная как Hard Swish.

tf.keras.activations.hard_silu(
    x
)

Определяется как:

• 0 если if x < -3
• x если x > 3
• x * (x + 3) / 6 если -3 <= x <= 3

Это более быстрая, кусочно-линейная аппроксимация функции активации silu.

Ссылка:

• A Howard, 2019