ELU

class torch.nn.ELU(alpha=1.0, inplace=False) [source]

Применяет функцию Exponential Linear Unit (ELU), поэлементно, как описано в статье: Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs).

ELU определяется как:

$$\text{ELU}(x) = \begin{cases} x, & \text{ if } x > 0\\ \alpha * (\exp(x) - 1), & \text{ if } x \leq 0 \end{cases}$$

Параметры

• alpha (float) – значение $\alpha$ для формулы ELU. По умолчанию: 1.0
• inplace (bool) – необязательно выполнить операцию на месте. По умолчанию: False

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, такая же форма, как у входа.

Примеры:

>>> m = nn.ELU()
>>> input = torch.randn(2)
>>> output = m(input)