tf.contrib.layers.batch_norm

Добавляет слой пакетной нормализации из http://arxiv.org/abs/1502.03167

tf.contrib.layers.batch_norm(
    inputs, decay=0.999, center=True, scale=False, epsilon=0.001,
    activation_fn=None, param_initializers=None, param_regularizers=None,
    updates_collections=tf.GraphKeys.UPDATE_OPS, is_training=True, reuse=None,
    variables_collections=None, outputs_collections=None, trainable=True,
    batch_weights=None, fused=None, data_format=DATA_FORMAT_NHWC,
    zero_debias_moving_mean=False, scope=None, renorm=False, renorm_clipping=None,
    renorm_decay=0.99, adjustment=None
)

"Пакетная нормализация: ускорение обучения глубоких нейронных сетей за счёт уменьшения сдвига ковариации входов"

Сергей Иоффе, Кристиан Шзегеди

Может использоваться в качестве функции нормализации для conv2d и fully_connected. Нормализация выполняется по всем измерениям, кроме последнего, если data_format равно NHWC, и по всем измерениям, кроме второго, если data_format равно NCHW. В случае 2D тензора это соответствует размерности батча, а в случае 4D тензора — размерностям батча и пространственным.

Примечание: при обучении, moving_mean и moving_variance необходимо обновлять. По умолчанию операции обновления размещаются в tf.GraphKeys.UPDATE_OPS, поэтому их необходимо добавить в качестве зависимости к train_op. Например:

update_ops = tf.compat.v1.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
  train_op = optimizer.minimize(loss)

Можно установить updates_collections=None, чтобы принудительно выполнить обновления на месте, но это может привести к снижению скорости, особенно в распределённых средах.