GELU

class torch.nn.GELU(approximate='none') [source]

Применяет функцию Gaussian Error Linear Units:

$$\text{GELU}(x) = x * \Phi(x)$$

где $\Phi(x)$ — функция распределения вероятностей для Гауссова распределения.

При приближении аргументом ‘tanh’, Gelu вычисляется следующим образом:

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$$

Параметры

approximate (str, необязательно) – алгоритм приближения gelu для использования: 'none' | 'tanh'. Значение по умолчанию: 'none'

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, та же форма, что и вход.

Примеры:

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)