tf.nn.batch_normalization

Нормализация пакета.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Используется в блокнотах

Нормализует тензор с помощью mean и variance и (при необходимости) применяет к нему scale \(\gamma\), а также offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

Ожидается, что mean, variance, offset и scale будут иметь одну из двух форм:

• В общем случае они могут иметь столько же измерений, сколько входной x, с размерами, совпадающими с x для измерений, по которым нормализация не выполняется (измерение(я) «глубины»), и размером 1 для остальных измерений, по которым выполняется нормализация. В этом случае mean и variance обычно являются результатами tf.nn.moments(..., keepdims=True) во время обучения или скользящими средними этих результатов во время инференса.
• В распространённом случае, когда измерение «глубины» является последним измерением входного тензора x, они могут быть одномерными тензорами того же размера, что и измерение «глубины». Так бывает, например, при распространённом [batch, depth]-формате полносвязных слоёв и [batch, height, width, depth] для свёрточных слоёв. В этом случае mean и variance обычно являются результатами tf.nn.moments(..., keepdims=False) во время обучения или скользящими средними этих результатов во время инференса.

См. уравнение 11 в алгоритме 2 в источнике: Пакетная нормализация: ускорение обучения глубоких сетей за счёт уменьшения внутреннего ковариатного сдвига; S. Ioffe, C. Szegedy.