tf.nn.batch_normalization

Нормализация по батчам.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Нормализует тензор по mean и variance, и применяет (необязательно) масштаб scale \(\gamma\) и сдвиг offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

mean, variance, offset и scale ожидаются в одном из двух вариантов:

• В общем случае, они могут иметь такое же количество измерений, как входной x, с такими же размерами, как x для измерений, по которым не производится нормализация (измерение «глубины»), и размер 1 для других, по которым нормализация производится. mean и variance в этом случае обычно являются результатами вычисления tf.nn.moments(..., keepdims=True) во время обучения или скользящими средними во время вывода.
• В общем случае, когда измерение «глубины» является последним измерением во входном тензоре x, они могут быть одномерными тензорами того же размера, что и измерение «глубины». Это, например, характерно для общего [batch, depth] расположения слоёв полносвязного слоя и [batch, height, width, depth] для свёрток. mean и variance в этом случае обычно являются результатами вычисления tf.nn.moments(..., keepdims=False) во время обучения или скользящими средними во время вывода.

См. уравнение 11 в алгоритме 2 из источника: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift; S. Ioffe, C. Szegedy.

Ссылки:

Batch Normalization - Ускорение обучения глубоких сетей путём снижения внутреннего сдвига ковариаций: Ioffe et al., 2015 (pdf)