torch.nn.functional.gelu

torch.nn.functional.gelu(input, approximate='none') → Tensor

Когда аргумент приближения равен ‘none’, он применяет поэлементно функцию $\text{GELU}(x) = x * \Phi(x)$

где $\Phi(x)$ — это функция распределения вероятностей для нормального распределения.

Когда аргумент приближения равен ‘tanh’, Gelu оценивается следующим образом:

math::

text{GELU}(x) = 0.5 * x * (1 + text{Tanh}(sqrt(2 / pi) * (x + 0.044715 * x^3)))

См. Gaussian Error Linear Units (GELUs).