tf.nn.gelu

Вычисляет функцию активации Gaussian Error Linear Unit (GELU).

tf.nn.gelu(
    features, approximate=False, name=None
)

Gaussian Error Linear Unit (GELU) вычисляет x * P(X <= x), где P(X) ~ N(0, 1). Нелинейность GELU взвешивает входные значения с учетом их величины, а не пропускает их на основании знака, как это делает ReLU.

Например:

x = tf.constant([-3.0, -1.0, 0.0, 1.0, 3.0], dtype=tf.float32)
y = tf.nn.gelu(x)
y.numpy()
array([-0.00404951, -0.15865529,  0.        ,  0.8413447 ,  2.9959507 ],
    dtype=float32)
y = tf.nn.gelu(x, approximate=True)
y.numpy()
array([-0.00363752, -0.15880796,  0.        ,  0.841192  ,  2.9963627 ],
    dtype=float32)

Аргументы
`features`	`float Tensor`, представляющий значения до активации.
`approximate`	Необязательный `bool`. По умолчанию — `False`. Определяет, следует ли включить аппроксимацию.
`name`	Имя операции (необязательно).

Возвращает
`Tensor` того же типа, что и `features`.

Вызывает исключения
`ValueError`	если `features` не является `Tensor` с плавающей точкой.

Ссылки
Gaussian Error Linear Units (GELUs).

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/nn/gelu