Softplus

class torch.nn.modules.activation.Softplus(beta=1.0, threshold=20.0) [исходный код]

Поэлементно применяет функцию Softplus.

$$\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$$

SoftPlus — это гладкое приближение функции ReLU, которое можно использовать, чтобы ограничить выходные значения модели положительными числами.

Для обеспечения численной стабильности реализация переключается на линейную функцию, когда $input \times \beta > threshold$.

Параметры:

• beta (float) – значение $\beta$ для формулы Softplus. Значение по умолчанию: 1
• threshold (float) – при значениях выше этого порога функция переключается на линейную. Значение по умолчанию: 20

Форма:

• Входные данные: $(*)$, где $*$ означает любое количество измерений.
• Выходные данные: $(*)$, форма совпадает с формой входных данных.

Примеры:

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor