Softplus

class torch.nn.Softplus(beta=1.0, threshold=20.0) [исходный код]

Поэлементно применяет функцию Softplus.

$$\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$$

SoftPlus — это гладкое приближение функции ReLU, которое можно использовать, чтобы ограничить выходные значения модели положительными числами.

Для численной устойчивости реализация переключается на линейную функцию, когда $input \times \beta > threshold$.

Параметры:

• beta (float) – значение $\beta$ для формулы Softplus. По умолчанию: 1
• threshold (float) – при значениях выше этого порога функция становится линейной. По умолчанию: 20

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, той же формы, что и вход.

Примеры:

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor