tf.keras.activations.relu

Применяет функцию активации выпрямленного линейного блока.

tf.keras.activations.relu(
    x, alpha=0.0, max_value=None, threshold=0.0
)

С параметрами по умолчанию эта функция возвращает стандартную активацию ReLU: max(x, 0), то есть поэлементное максимальное значение между 0 и входным тензором.

Изменение параметров по умолчанию позволяет использовать пороговые значения отличные от нуля, изменять максимальное значение активации и использовать не равное нулю кратное входного значения для значений ниже порога.

Например:

foo = tf.constant([-10, -5, 0.0, 5, 10], dtype = tf.float32)
tf.keras.activations.relu(foo).numpy()
array([ 0.,  0.,  0.,  5., 10.], dtype=float32)
tf.keras.activations.relu(foo, alpha=0.5).numpy()
array([-5. , -2.5,  0. ,  5. , 10. ], dtype=float32)
tf.keras.activations.relu(foo, max_value=5.).numpy()
array([0., 0., 0., 5., 5.], dtype=float32)
tf.keras.activations.relu(foo, threshold=5.).numpy()
array([-0., -0.,  0.,  0., 10.], dtype=float32)