SELU

class torch.nn.SELU(inplace=False) [source]

Применяется поэлементно, как:

$$\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$$

с $\alpha = 1.6732632423543772848170429916717$ и $\text{scale} = 1.0507009873554804934193349852946$.

Предупреждение

При использовании kaiming_normal или kaiming_normal_ для инициализации, необходимо использовать nonlinearity='linear' вместо nonlinearity='selu', чтобы получить Самонормализующиеся нейронные сети. Подробнее см. torch.nn.init.calculate_gain().

Дополнительные подробности можно найти в статье Самонормализующиеся нейронные сети .

Параметры

inplace (bool, необязательно) – можно выполнить операцию на месте. По умолчанию: False

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, такая же форма, как у входа.

Примеры:

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)