torch.nn.functional.softplus

torch.nn.functional.softplus(input, beta=1, threshold=20) → Tensor

Применяет поэлементно функцию $\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$.

Для повышения числовой устойчивости реализация переходит к линейной функции, когда $input \times \beta > threshold$.

См. Softplus для получения более подробной информации.