torch.nn.functional.gelu

torch.nn.functional.gelu(input, approximate='none') → Tensor [исходный код]

Если аргумент approximate равен «none», поэлементно применяется функция $\text{GELU}(x) = x * \Phi(x)$

где $\Phi(x)$ — функция распределения для нормального распределения.

Если аргумент approximate равен «tanh», значение GELU аппроксимируется следующим образом:

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$$

См. Линейные блоки с гауссовой функцией ошибок (GELU).