tf.keras.activations.gelu

Функция активации гауссовой линейной единицы ошибки (GELU).

tf.keras.activations.gelu(
    x, approximate=False
)

Гауссова линейная единица ошибки (GELU) определяется следующим образом:

gelu(x) = x * P(X <= x) где P(X) ~ N(0, 1), то есть gelu(x) = 0.5 * x * (1 + erf(x / sqrt(2))).

GELU взвешивает входные данные в соответствии с их значениями, а не отсеивает их по знаку, как ReLU.

Ссылка:

• Hendrycks и др., 2016