tf.nn.batch_normalization

Нормализация по батчам.

tf.nn.batch_normalization(
    x, mean, variance, offset, scale, variance_epsilon, name=None
)

Нормализует тензор по mean и variance, и применяет (необязательно) масштаб scale \(\gamma\) к нему, а также смещение offset \(\beta\):

\(\frac{\gamma(x-\mu)}{\sigma}+\beta\)

mean, variance, offset и scale должны иметь одну из двух форм:

• В общем случае они могут иметь такое же количество измерений, как входной x, с идентичными размерами как x для измерений, которые не нормализуются (измерение «глубины»), и размер 1 для остальных, которые нормализуются. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keepdims=True) во время обучения или их скользящими средними во время вывода.
• В общем случае, когда измерение «глубины» является последним измерением тензора входа x, они могут быть одномерными тензорами такого же размера, как измерение «глубины». Это, например, относится к обычному [batch, depth] расположению полносвязных слоёв, и [batch, height, width, depth] для свёрток. mean и variance в этом случае обычно являются результатами tf.nn.moments(..., keepdims=False) во время обучения или их скользящими средними во время вывода.

См. уравнение 11 в алгоритме 2 из источника: Нормализация по батчам: Ускорение обучения глубоких нейронных сетей за счёт сокращения сдвига внутренних ковариат; С. Иоффе, К. Зегеди.

Ссылки:

Batch Normalization - Ускорение обучения глубоких нейронных сетей за счёт сокращения сдвига внутренних ковариат: Иоффе и др., 2015 (pdf)