tf.keras.activations.selu

Функция активации SELU (Scaled Exponential Linear Unit).

tf.keras.activations.selu(
    x
)

Функция активации SELU (Scaled Exponential Linear Unit) определяется как:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

где alpha и scale являются предварительно определёнными константами (alpha=1.67326324 и scale=1.05070098).

В основном, функция активации SELU умножает scale (> 1) на результат функции tf.keras.activations.elu для обеспечения наклона, большего, чем один, для положительных входных данных.

Значения alpha и scale выбраны так, чтобы среднее значение и дисперсия входов сохранялись между двумя последовательными слоями при правильной инициализации весов (см. инициализатор tf.keras.initializers.LecunNormal) и достаточном количестве входных единиц (см. статью в источнике для получения более подробной информации).

Пример использования:

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

Примечания:

• Используется совместно с инициализатором tf.keras.initializers.LecunNormal.
• Используется совместно с вариантом дропаута tf.keras.layers.AlphaDropout (не обычным дропаутом).

Ссылки:

• Klambauer et al., 2017