tf.nn.batch_normalization

Нормализация по батчам.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Нормализует тензор с помощью mean и variance, и (необязательно) применяет к нему scale \(\gamma\), а также offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

mean, variance, offset и scale должны иметь одну из двух форм:

• В общем случае они могут иметь такое же количество измерений, что и входной x, с идентичными размерами, как у x для измерений, по которым не производится нормализация (измерение «глубины»), и размерностью 1 для остальных, по которым производится нормализация. mean и variance в этом случае, как правило, являются результатами вызова tf.nn.moments(..., keepdims=True) во время обучения или скользящими средними во время вывода.
• В общем случае, когда измерение «глубины» является последним измерением во входном тензоре x, они могут быть одномерными тензорами того же размера, что и измерение «глубины». Это характерно, например, для общепринятой компоновки слоёв полносвязного слоя и [batch, height, width, depth] для свёрток. mean и variance в этом случае обычно являются результатами вызова tf.nn.moments(..., keepdims=False) во время обучения или скользящими средними во время вывода.

См. уравнение 11 в алгоритме 2 из источника: Нормализация по батчам: ускорение обучения глубоких нейронных сетей путём уменьшения сдвига внутренних ковариаций; S. Ioffe, C. Szegedy.

Ссылки:

Нормализация по батчам - Ускорение обучения глубоких нейронных сетей путём уменьшения сдвига внутренних ковариаций: Ioffe et al., 2015 (pdf)