tf.keras.activations.elu

Экспоненциально-линейная единица.

tf.keras.activations.elu(
    x, alpha=1.0
)

Экспоненциально-линейная единица (ELU) с alpha > 0 определяется как:

• x если x > 0
• alpha * exp(x) - 1 если x < 0

ELU имеют отрицательные значения, которые приближают среднее значение активаций к нулю.

Средние значения активаций, близкие к нулю, позволяют ускорить обучение, так как они приближают градиент к естественному градиенту. ELU насыщаются отрицательным значением, когда аргумент становится меньше. Насыщение означает небольшой производный коэффициент, что уменьшает вариативность и информацию, передаваемую на следующий слой.

Ссылка:

• Clevert et al., 2016