tf.keras.activations.elu

Экспоненциально-линейная единица.

tf.keras.activations.elu(
    x, alpha=1.0
)

Экспоненциально-линейная единица (ELU) с alpha > 0 равна: x если x > 0 и alpha * (exp(x) - 1) если x < 0 Параметр ELU alpha управляет значением, к которому ELU насыщается для отрицательных входных данных. ELU уменьшает эффект исчезающего градиента.

ELU имеет отрицательные значения, которые приближают среднее значение активаций к нулю. Средние активации, более близкие к нулю, позволяют быстрее обучение, так как они приближают градиент к естественному градиенту. ELU насыщается отрицательным значением, когда аргумент становится меньше. Насыщение означает небольшой производный, что уменьшает изменчивость и информацию, которая передается на следующий слой.

Пример использования:

import tensorflow as tf
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(32, (3, 3), activation='elu',
         input_shape=(28, 28, 1)))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))

Ссылка:

Быстрое и точное глубокое обучение нейронных сетей с помощью экспоненциально-линейных единиц (ELU) (Clevert et al, 2016)