tf.keras.activations.selu

Функция активации Scaled Exponential Linear Unit (SELU).

tf.keras.activations.selu(
    x
)

Функция активации Scaled Exponential Linear Unit (SELU) определяется как:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

где alpha и scale являются предопределенными константами (alpha=1.67326324 и scale=1.05070098).

В основном, функция активации SELU умножает scale (> 1) на результат функции tf.keras.activations.elu для обеспечения наклона больше единицы для положительных входных значений.

Значения alpha и scale выбраны таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями, при условии корректной инициализации весов (см. инициализатор tf.keras.initializers.LecunNormal) и достаточного числа входных единиц (см. статью для получения дополнительной информации).

Пример использования:

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

Примечания:

• Используется совместно с инициализатором tf.keras.initializers.LecunNormal.
• Используется совместно с вариантом дропаута tf.keras.layers.AlphaDropout (не обычный дропаут).

Ссылки:

• Klambauer и др., 2017