tf.keras.activations.selu

Масштабированная экспоненциальная линейная единица (SELU).

tf.keras.activations.selu(
    x
)

Функция активации масштабированной экспоненциальной линейной единицы (SELU) определяется следующим образом:

• scale * x if x > 0
• scale * alpha * (exp(x) - 1) if x < 0

где alpha и scale — заранее определённые константы (alpha=1.67326324 и scale=1.05070098).

По сути, функция активации SELU умножает scale (> 1) на результат функции keras.activations.elu, чтобы обеспечить наклон больше единицы для положительных входных значений.

Значения alpha и scale выбраны так, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями при условии правильной инициализации весов (см. инициализатор keras.initializers.LecunNormal) и «достаточно большого» количества входных единиц (дополнительную информацию см. в статье).

Примечания:

• Используйте вместе с инициализатором keras.initializers.LecunNormal.
• Используйте вместе с вариантом dropout keras.layers.AlphaDropout (а не со стандартным dropout).

Литература:

• Klambauer и др., 2017