tf.nn.leaky_relu

Вычислить функцию активации Leaky ReLU.

tf.nn.leaky_relu(
    features, alpha=0.2, name=None
)

Источник: Нелинейности выпрямителя улучшают акустические модели нейронных сетей. AL Maas, AY Hannun, AY Ng - Proc. ICML, 2013. Аргументы: features: Значения предоктивации, представленные в виде Tensor. Должен быть одним из следующих типов: float16, float32, float64, int32, int64. alpha: Наклон функции активации при x < 0. name: Имя операции (необязательно).

Справочные материалы:

Нелинейности выпрямителя улучшают акустические модели нейронных сетей: Maas и др., 2013 (pdf)