GELU

class torch.nn.GELU(approximate='none') [source]

Применяет функцию «Gaussian Error Linear Units»:

$$\text{GELU}(x) = x * \Phi(x)$$

где $\Phi(x)$ — функция распределения вероятностей для нормального распределения.

При приближении «tanh», Gelu вычисляется приближённо так:

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt(2 / \pi) * (x + 0.044715 * x^3)))$$

Параметры:

approximate (str, необязательный) – алгоритм приближённого вычисления Gelu: 'none' | 'tanh'. Значение по умолчанию: 'none'

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, форма такая же, как у входа.

Примеры:

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)