tf.keras.activations.elu

Экспоненциально-линейная единица (ELU).

tf.keras.activations.elu(
    x, alpha=1.0
)

Экспоненциально-линейная единица (ELU) с alpha > 0 имеет вид: x при x > 0 и alpha * (exp(x) - 1) при x < 0. Гиперпараметр ELU alpha управляет значением, к которому ELU насыщается при отрицательных входных данных.

ELU имеют отрицательные значения, которые приближают среднее значение активаций к нулю. Средние значения активаций, близкие к нулю, ускоряют обучение, так как приближают градиент к естественному градиенту. ELU насыщаются отрицательным значением, когда аргумент становится меньше. Насыщение означает малую производную, которая уменьшает изменчивость и информацию, передаваемую в следующий слой.

Пример использования:

import tensorflow as tf
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(32, (3, 3), activation='elu',
         input_shape=(28, 28, 1)))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))

Ссылка:

Быстрое и точное обучение глубоких нейронных сетей с помощью экспоненциально-линейных единиц (ELU) (Clevert et al, 2016)