tf.keras.activations.gelu

Функция активации Gaussian error linear unit (GELU).

tf.keras.activations.gelu(
    x, approximate=False
)

Функция Gaussian error linear unit (GELU) определяется как:

gelu(x) = x * P(X <= x) где P(X) ~ N(0, 1), то есть gelu(x) = 0.5 * x * (1 + erf(x / sqrt(2))).

Функция GELU взвешивает входные данные по их значению, а не по знаку входных данных, как в ReLU.

Ссылка:

• Hendrycks et al., 2016