tf.nn.batch_normalization

Нормализация по батчам.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Нормализует тензор по mean и variance, и применяет (необязательно) масштаб scale \(\gamma\) к нему, а также смещение offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

mean, variance, offset и scale должны иметь одну из двух форм:

• В общем случае они могут иметь такое же количество измерений, как входной x, с одинаковыми размерами как у x для измерений, по которым не происходит нормализация (измерение «глубины»), и размер 1 для остальных, которые нормализуются. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keep_dims=True) во время обучения или скользящими средними во время инференса.
• В общем случае, когда измерение «глубины» является последним измерением в тензоре x, они могут быть одномерными тензорами того же размера, что и измерение «глубины». Это, например, относится к обычному расположению [batch, depth] полносвязных слоёв и [batch, height, width, depth] для свёрток. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keep_dims=False) во время обучения или скользящими средними во время инференса.

См. Источник: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift; S. Ioffe, C. Szegedy.