tf.compat.v1.nn.relu6

Вычисляет функцию Rectified Linear 6: min(max(features, 0), 6).

tf.compat.v1.nn.relu6(
    features, name=None
)

По сравнению с tf.nn.relu, функции активации relu6, как показали эмпирические исследования, работают лучше в условиях низкой точности (например, при инференсе с фиксированной точкой), помогая модели раньше обучаться разреженным признакам. Источник: Convolutional Deep Belief Networks on CIFAR-10: Krizhevsky et al., 2010.

Например:

x = tf.constant([-3.0, -1.0, 0.0, 6.0, 10.0], dtype=tf.float32)
y = tf.nn.relu6(x)
y.numpy()
array([0., 0., 0., 6., 6.], dtype=float32)