tf.keras.activations.swish

Функция активации Swish, swish(x) = x * sigmoid(x).

tf.keras.activations.swish(
    x
)

Функция активации Swish, которая возвращает x*sigmoid(x). Это гладкая, немонотонная функция, которая последовательно соответствует или превосходит ReLU в глубоких сетях, она не ограничена сверху и ограничена снизу.

Пример использования:

a = tf.constant([-20, -1.0, 0.0, 1.0, 20], dtype = tf.float32)
b = tf.keras.activations.swish(a)
b.numpy()
array([-4.1223075e-08, -2.6894143e-01,  0.0000000e+00,  7.3105860e-01,
          2.0000000e+01], dtype=float32)

Ссылка:

• Ramachandran и др., 2017