tf.keras.layers.BatchNormalization

Нормализует и масштабирует входные данные или активации.

tf.keras.layers.BatchNormalization(
    axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True,
    beta_initializer='zeros', gamma_initializer='ones',
    moving_mean_initializer='zeros', moving_variance_initializer='ones',
    beta_regularizer=None, gamma_regularizer=None, beta_constraint=None,
    gamma_constraint=None, renorm=False, renorm_clipping=None, renorm_momentum=0.99,
    fused=None, trainable=True, virtual_batch_size=None, adjustment=None, name=None,
    **kwargs
)

Нормализует активации предыдущего слоя в каждой пачке, т.е. применяет преобразование, которое сохраняет среднее значение активации близким к 0, а стандартное отклонение активации близким к 1.

Нормализация по батчам отличается от других слоёв по нескольким ключевым аспектам:

1) Добавление BatchNormalization с training=True в модель приводит к тому, что результат одного примера зависит от содержимого всех других примеров в мини-пачке. Будьте внимательны при добавлении пачек или маскировании примеров, так как это может изменить статистику мини-пачки и повлиять на другие примеры.

2) Обновления весов (подвижные статистики) основаны на прямом проходе модели, а не на результате вычисления градиентов.

3) При выполнении вывода с помощью модели, содержащей нормализацию по батчам, обычно (хотя и не всегда) желательно использовать накопленные статистические данные, а не статистические данные мини-пачки. Это достигается путём передачи training=False при вызове модели или использования model.predict.

Аргументы вызова:

• inputs: Входной тензор (любого ранга).
• training: Булево значение Python, указывающее, должен ли слой вести себя в режиме обучения или в режиме вывода.
  • training=True: Слой будет нормализовать свои входные данные с использованием среднего и дисперсии текущей пачки входных данных.
  • training=False: Слой будет нормализовать свои входные данные с использованием среднего и дисперсии своих скользящих статистик, выученных во время обучения.

Форма входных данных: произвольная. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось примеров) при использовании этого слоя в качестве первого слоя в модели. Форма выходных данных: такая же, как у входных данных.
О настройке layer.trainable = False в слое `BatchNormalization`:

Установка значения layer.trainable = False означает замораживание слоя, т.е. его внутреннее состояние не будет изменяться во время обучения: его обучаемые веса не будут обновляться во время fit() или train_on_batch(), и его обновления состояния не будут выполняться.

Обычно это не обязательно означает, что слой выполняется в режиме вывода (что обычно контролируется аргументом training который может быть передан при вызове слоя). «Замороженное состояние» и «режим вывода» — это два разных понятия.

Однако в случае слоя BatchNormalization настройка trainable = False на слое означает, что слой будет впоследствии выполняться в режиме вывода (что означает, что он будет использовать скользящее среднее и скользящую дисперсию для нормализации текущей пачки, а не среднее и дисперсию текущей пачки).

Это поведение было введено в TensorFlow 2.0, чтобы обеспечить layer.trainable = False для получения наиболее ожидаемого поведения в случае тонкой настройки свёрточной сети.

Обратите внимание:

• Это поведение наблюдается только начиная с TensorFlow 2.0. В версии 1.*, установка layer.trainable = False заморозит слой, но не переключит его в режим вывода.
• Установка trainable в модели, содержащей другие слои, рекурсивно установит значение trainable для всех внутренних слоёв.
• Если значение атрибута trainable изменяется после вызова compile() в модели, новое значение не будет применено для этой модели до тех пор, пока compile() не будет вызван снова.

Уравнения нормализации: Рассмотрим промежуточные активации (x) мини-пачки размером \(m\): Мы можем вычислить среднее и дисперсию пачки \({\mu_B} = \frac{1}{m} \sum_{i=1}^{m} {x_i}\) \({\sigma_B^2} = \frac{1}{m} \sum_{i=1}^{m} ({x_i} - {\mu_B})^2\) и затем вычислить нормализованное \(x\), включая небольшой множитель \({\epsilon}\) для числовой устойчивости. \(\hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon} }\) И, наконец, \(\hat{x}\) линейно преобразуется с помощью \({\gamma}\) и \({\beta}\), которые являются обучаемыми параметрами: \({y_i} = {\gamma * \hat{x_i} + \beta}\) Ссылка:

• Ioffe и Szegedy, 2015.