tf.keras.activations.elu

Экспоненциальная линейная единица.

tf.keras.activations.elu(
    x, alpha=1.0
)

Экспоненциальная линейная единица (ELU) с alpha > 0 определяется следующим образом:

• x если x > 0
• alpha * exp(x) - 1 если x < 0

ELU имеют отрицательные значения, которые смещают среднее значение активаций ближе к нулю.

Средние значения активаций, близкие к нулю, обеспечивают более быстрое обучение, поскольку приближают градиент к естественному градиенту. ELU насыщаются до отрицательного значения, когда аргумент уменьшается. Насыщение означает малую производную, которая уменьшает вариативность и объем информации, передаваемой на следующий слой.

Ссылки:

• Клевер и др., 2016