tf.keras.layers.BatchNormalization

Слой, который нормализует свои входные данные.

Наследуется от: Layer, Module

tf.keras.layers.BatchNormalization(
    axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True,
    beta_initializer='zeros', gamma_initializer='ones',
    moving_mean_initializer='zeros',
    moving_variance_initializer='ones', beta_regularizer=None,
    gamma_regularizer=None, beta_constraint=None, gamma_constraint=None,
    renorm=False, renorm_clipping=None, renorm_momentum=0.99, fused=None,
    trainable=True, virtual_batch_size=None, adjustment=None, name=None, **kwargs
)

Нормализация по батчам применяет преобразование, которое поддерживает среднее значение выхода близким к 0, а стандартное отклонение выхода близким к 1.

Важно, что нормализация по батчам работает по-разному во время обучения и во время вывода.

Во время обучения (т.е. при использовании fit() или при вызове слоя/модели с аргументом training=True), слой нормализует свой вывод, используя среднее и стандартное отклонение текущей порции входных данных. То есть для каждого нормализуемого канала слой возвращает (batch - mean(batch)) / (var(batch) + epsilon) * gamma + beta, где:

• epsilon — небольшая константа (настраиваемая в качестве аргумента конструктора)
• gamma — изучаемый масштабирующий множитель (инициализированный как 1), который можно отключить, передав scale=False в конструктор.
• beta — изучаемый смещающий множитель (инициализированный как 0), который можно отключить, передав center=False в конструктор.

Во время вывода (т.е. при использовании evaluate() или predict() или при вызове слоя/модели с аргументом training=False (который является значением по умолчанию), слой нормализует свой вывод, используя скользящее среднее значения среднего и стандартного отклонения порций, которые он видел во время обучения. То есть он возвращает (batch - self.moving_mean) / (self.moving_var + epsilon) * gamma + beta.

self.moving_mean и self.moving_var — нетренируемые переменные, которые обновляются каждый раз, когда слой вызывается в режиме обучения, таким образом:

• moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum)
• moving_var = moving_var * momentum + var(batch) * (1 - momentum)

Таким образом, слой будет нормализовывать свои входные данные во время вывода после обучения на данных, которые имеют похожую статистику, как данные вывода.

Аргументы вызова:

• inputs: Входной тензор (любого ранга).
• training: Булево значение Python, указывающее, должен ли слой вести себя в режиме обучения или в режиме вывода.
  • training=True: Слой будет нормализовывать свои входные данные, используя среднее и дисперсию текущей порции входных данных.
  • training=False: Слой будет нормализовывать свои входные данные, используя среднее и дисперсию своих скользящих статистик, изученных во время обучения.

Форма входных данных: произвольная. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включающий ось образцов) при использовании этого слоя в качестве первого слоя в модели.

Форма выходных данных: такая же, как форма входных данных.
О настройке layer.trainable = False в слое BatchNormalization:

Назначение layer.trainable = False — заморозить слой, т. е. его внутреннее состояние не будет меняться во время обучения: тренируемые веса не будут обновляться во время fit() или train_on_batch(), и обновления состояния не будут выполняться.

Обычно это не обязательно означает, что слой запускается в режиме вывода (который обычно управляется аргументом training , который можно передать при вызове слоя). «Замороженное состояние» и «режим вывода» — это два разных понятия.

Однако в случае слоя BatchNormalization настройка trainable = False в слое означает, что слой будет впоследствии выполняться в режиме вывода (то есть он будет использовать скользящее среднее и скользящую дисперсию для нормализации текущей порции, а не использовать среднее и дисперсию текущей порции).

Это поведение было введено в TensorFlow 2.0, чтобы обеспечить layer.trainable = False наиболее ожидаемое поведение в случае тонкой настройки сверточных сетей.

Примечание:

• Это поведение существует только начиная с TensorFlow 2.0. В версии 1.*, настройка layer.trainable = False замораживала слой, но не переключала его в режим вывода.
• Настройка trainable в модели, содержащей другие слои, рекурсивно устанавливает значение trainable всех внутренних слоёв.
• Если значение атрибута trainable изменяется после вызова compile() в модели, новое значение не вступит в силу для этой модели до тех пор, пока не будет снова вызван compile().

Ссылка:

• Ioffe and Szegedy, 2015.