tf.nn.local_response_normalization

Локальная нормализация отклика.

tf.nn.local_response_normalization(
    input, depth_radius=5, bias=1, alpha=1, beta=0.5, name=None
)

4-мерный input тензор рассматривается как 3-мерный массив 1-мерных векторов (по последнему измерению), и каждый вектор нормализуется независимо. Внутри данного вектора каждый компонент делится на взвешенную, квадратичную сумму входов в depth_radius. Подробно,

sqr_sum[a, b, c, d] =
    sum(input[a, b, c, d - depth_radius : d + depth_radius + 1] ** 2)
output = input / (bias + alpha * sqr_sum) ** beta

Для получения подробностей см. Krizhevsky et al., ImageNet classification with deep convolutional neural networks (NIPS 2012).