tf.keras.activations.selu

Функция активации SELU (масштабированная экспоненциальная линейная единица).

tf.keras.activations.selu(
    x
)

Функция активации SELU (масштабированная экспоненциальная линейная единица) определяется как:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

где alpha и scale — предопределенные константы (alpha=1.67326324 и scale=1.05070098).

В основе функции активации SELU лежит умножение scale (> 1) на результат функции tf.keras.activations.elu для обеспечения наклона больше единицы при положительных входных значениях.

Значения alpha и scale выбираются таким образом, чтобы среднее и дисперсия входов сохранялись между двумя последовательными слоями при правильной инициализации весов (см. инициализатор tf.keras.initializers.LecunNormal) и достаточном количестве входных единиц (см. статью-источник для получения более подробной информации).

Пример использования:

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

Примечания:

• Используется совместно с инициализатором tf.keras.initializers.LecunNormal.
• Используется совместно с вариантом дропаута tf.keras.layers.AlphaDropout (а не с обычным дропаутом).

Ссылки:

• Klambauer et al., 2017