tf.keras.ops.gelu

Функция активации Gaussian Error Linear Unit (GELU).

tf.keras.ops.gelu(
    x, approximate=True
)

Если approximate равно True, оно определяется как: f(x) = 0.5 * x * (1 + tanh(sqrt(2 / pi) * (x + 0.044715 * x^3)))

Или если approximate равно False, оно определяется как: f(x) = x * P(X <= x) = 0.5 * x * (1 + erf(x / sqrt(2))), где P(X) ~ N(0, 1).

Пример:

x = np.array([-1., 0., 1.])
x_gelu = keras.ops.gelu(x)
print(x_gelu)
array([-0.15865525, 0., 0.84134475], shape=(3,), dtype=float64)