tf.keras.activations.elu

Экспоненциально-линейная единица.

tf.keras.activations.elu(
    x, alpha=1.0
)

Экспоненциально-линейная единица (ELU) с alpha > 0 равна: x если x > 0 и alpha * (exp(x) - 1) если x < 0 Параметр ELU alpha управляет значением, к которому ELU насыщается для отрицательных входных данных. ELU уменьшает эффект исчезновения градиента.

ELU имеют отрицательные значения, что приближает среднее значение активаций к нулю. Средние активации, более близкие к нулю, позволяют ускорить обучение, так как они приближают градиент к естественному градиенту. ELU насыщаются отрицательным значением, когда аргумент становится меньше. Насыщение означает небольшой производный, что уменьшает изменчивость и информацию, распространяемую в следующий слой.

Пример использования:

import tensorflow as tf
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(32, (3, 3), activation='elu',
         input_shape=(28, 28, 1)))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))

Ссылка:

Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) (Clevert et al, 2016)