ELU

class torch.nn.modules.activation.ELU(alpha=1.0, inplace=False) [исходный код]

Поэлементно применяет функцию экспоненциальной линейной единицы (ELU).

Метод описан в статье: Быстрое и точное обучение глубоких сетей с помощью экспоненциальных линейных единиц (ELU).

Функция ELU определяется следующим образом:

$$\text{ELU}(x) = \begin{cases} x, & \text{ if } x > 0\\ \alpha * (\exp(x) - 1), & \text{ if } x \leq 0 \end{cases}$$

Параметры:

• alpha (float) – значение $\alpha$ для формулы ELU. По умолчанию: 1.0
• inplace (bool) – при необходимости операцию можно выполнять на месте. По умолчанию: False

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, форма совпадает с формой входных данных.

Примеры:

>>> m = nn.ELU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor