tf.contrib.nn.scaled_softplus

Возвращает y = alpha * ln(1 + exp(x / alpha)) или min(y, clip).

tf.contrib.nn.scaled_softplus(
    x, alpha, clip=None, name=None
)

Это можно рассматривать как softplus, применённый к масштабированному входу, с соответствующим масштабированием вывода. По мере того как alpha стремится к 0, scaled_softplus(x, alpha) стремится к relu(x). Обрезание является необязательным. По мере того как alpha->0, scaled_softplus(x, alpha) стремится к relu(x), а scaled_softplus(x, alpha, clip=6) стремится к relu6(x).

Примечание: градиент для этой операции определяется как зависящий от входных данных обратного распространения, а также от выходов этой операции.