torch.nn.functional.softplus

torch.nn.functional.softplus(input, beta=1, threshold=20) → Tensor [исходный код]

Поэлементно применяет функцию $\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$.

Для численной устойчивости при $input \times \beta > threshold$ реализация переключается на линейную функцию.

Подробнее см. Softplus.