tf.keras.activations.selu

Функция активации Scaled Exponential Linear Unit (SELU).

tf.keras.activations.selu(
    x
)

Функция активации Scaled Exponential Linear Unit (SELU) определяется как:

• scale * x если x > 0
• scale * alpha * (exp(x) - 1) если x < 0

где alpha и scale — предопределённые константы (alpha=1.67326324 и scale=1.05070098).

В основе функции активации SELU лежит умножение scale (> 1) на результат работы функции keras.activations.elu, чтобы обеспечить наклон, больший единицы, для положительных входных данных.

Значения alpha и scale выбраны таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями при условии корректной инициализации весов (см. инициализатор keras.initializers.LecunNormal) и достаточном количестве входных единиц (подробнее см. в статье).

Примечания:

• Используется вместе с инициализатором keras.initializers.LecunNormal.
• Используется вместе с вариантом дропаута keras.layers.AlphaDropout (а не с обычным дропаутом).

Ссылка:

• Klambauer et al., 2017