Mish

class torch.nn.Mish(inplace=False) [source]

Применяет функцию Mish поэлементно. Mish: Саморегулирующаяся немонотонная функция активации нейронной сети.

$$\text{Mish}(x) = x * \text{Tanh}(\text{Softplus}(x))$$

Примечание

См. Mish: A Self Regularized Non-Monotonic Neural Activation Function

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, такая же форма, как у входных данных.

Примеры:

>>> m = nn.Mish()
>>> input = torch.randn(2)
>>> output = m(input)