GELU

class torch.nn.modules.activation.GELU(approximate='none') [source]

Применяет функцию Gaussian Error Linear Units.

$$\text{GELU}(x) = x * \Phi(x)$$

где $\Phi(x)$ — функция распределения Гауссова распределения.

Если аргумент approximate равен ‘tanh’, значение Gelu вычисляется приближённо по формуле:

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$$

Параметры:

approximate (str, необязательно) – используемый алгоритм аппроксимации gelu: 'none' | 'tanh'. По умолчанию: 'none'

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, той же формы, что и вход.

Примеры:

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [source]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Тензор