SELU

class torch.nn.SELU(inplace=False) [source]

Применяется поэлементно, как:

$$\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$$

с $\alpha = 1.6732632423543772848170429916717$ и $\text{scale} = 1.0507009873554804934193349852946$.

Предупреждение

При использовании kaiming_normal или kaiming_normal_ для инициализации, следует использовать nonlinearity='linear' вместо nonlinearity='selu', чтобы получить Самонормализующиеся нейронные сети. Смотрите torch.nn.init.calculate_gain() для получения дополнительной информации.

Подробнее можно узнать из статьи Самонормализующиеся нейронные сети.

Параметры:

inplace (bool, необязательно) – можно выполнить операцию на месте. По умолчанию: False

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, такая же форма, как и вход.

Примеры:

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)