Softplus

class torch.nn.Softplus(beta=1, threshold=20) [source]

Применяет функцию Softplus $\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$ поэлементно.

SoftPlus — это гладкое приближение функции ReLU, которое можно использовать для ограничения выходных данных машины, чтобы они всегда были положительными.

Для повышения числовой устойчивости реализация возвращается к линейной функции, когда $input \times \beta > threshold$.

Параметры

• beta (int) – значение $\beta$ для формулы Softplus. По умолчанию: 1
• threshold (int) – значения, превышающие это, переходят к линейной функции. По умолчанию: 20

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, такая же форма, как и вход.

Примеры:

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)