tf.keras.activations.selu

Функция активации Scaled Exponential Linear Unit (SELU).

tf.keras.activations.selu(
    x
)

Функция активации Scaled Exponential Linear Unit (SELU) имеет вид: scale * x если x > 0 и scale * alpha * (exp(x) - 1) если x < 0 , где alpha и scale — предварительно определённые константы (alpha = 1.67326324 и scale = 1.05070098). Функция активации SELU умножает scale > 1 на [elu](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/activations/elu) (функция Exponential Linear Unit (ELU)), чтобы обеспечить наклон, больший 1, для положительных входных данных.

Значения alpha и scale выбраны таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями при правильной инициализации весов (см. lecun_normal инициализацию) и достаточном количестве входных данных (см. ссылки для получения дополнительной информации).

(По материалам блога на Towards DataScience по адресу https://towardsdatascience.com/selu-make-fnns-great-again-snn-8d61526802a9)

Пример использования:

n_classes = 10 #10_class problem
model = models.Sequential()
model.add(Dense(64, kernel_initializer='lecun_normal', activation='selu',
input_shape=(28, 28, 1))))
model.add(Dense(32, kernel_initializer='lecun_normal', activation='selu'))
model.add(Dense(16, kernel_initializer='lecun_normal', activation='selu'))
model.add(Dense(n_classes, activation='softmax'))

Примечание

- To be used together with the initialization "[lecun_normal]
(https://www.tensorflow.org/api_docs/python/tf/keras/initializers/lecun_normal)".
- To be used together with the dropout variant "[AlphaDropout]
(https://www.tensorflow.org/api_docs/python/tf/keras/layers/AlphaDropout)".

Ссылки:

Самонормализующиеся нейронные сети (Klambauer et al, 2017)