tf.nn.batch_normalization

Нормализация по батчам.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Используется в ноутбуках

Нормализует тензор по mean и variance, и применяет (по желанию) scale \(\gamma\) к нему, а также offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

mean, variance, offset и scale должны иметь одну из двух форм:

• В общем случае они могут иметь такое же количество измерений, что и входной x, с идентичными размерами, как у x для измерений, которые не нормализуются (измерение «глубины»), и размерностью 1 для других, которые нормализуются. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keepdims=True) во время обучения или скользящими средними во время вывода.
• В общем случае, когда измерение «глубины» является последним измерением во входном тензоре x, они могут быть одномерными тензорами такого же размера, как измерение «глубины». Это, например, характерно для стандартной [batch, depth] компоновки полносвязных слоев и [batch, height, width, depth] для сверток. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keepdims=False) во время обучения или скользящими средними во время вывода.

См. уравнение 11 в алгоритме 2 из источника: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift; S. Ioffe, C. Szegedy.