tf.compat.v1.keras.layers.BatchNormalization

Слой, нормализующий свои входные данные.

Наследуется от: Layer, Module

tf.compat.v1.keras.layers.BatchNormalization(
    axis=-1,
    momentum=0.99,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer='zeros',
    gamma_initializer='ones',
    moving_mean_initializer='zeros',
    moving_variance_initializer='ones',
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    renorm=False,
    renorm_clipping=None,
    renorm_momentum=0.99,
    fused=None,
    trainable=True,
    virtual_batch_size=None,
    adjustment=None,
    name=None,
    **kwargs
)

Базовая нормализация по батчам применяет преобразование, которое поддерживает среднее значение выходных данных близким к 0, а стандартное отклонение выходных данных близким к 1.

Важно, что базовая нормализация по батчам работает по-разному во время обучения и во время вывода.

Во время обучения (т.е. при использовании fit() или при вызове слоя/модели с аргументом training=True), слой нормализует свой вывод, используя среднее и стандартное отклонение текущей порции входных данных. То есть для каждого нормализуемого канала слой возвращает gamma * (batch - mean(batch)) / sqrt(var(batch) + epsilon) + beta, где:

• epsilon — небольшая константа (настраивается в качестве аргумента конструктора)
• gamma — изучаемый масштабирующий множитель (инициализирован как 1), который можно отключить, передав scale=False в конструктор.
• beta — изучаемый смещающий множитель (инициализирован как 0), который можно отключить, передав center=False в конструктор.

Во время вывода (т.е. при использовании evaluate() или predict()) или при вызове слоя/модели с аргументом training=False (что является значением по умолчанию), слой нормализует свой вывод, используя скользящую среднюю средних значений и стандартных отклонений порций, которые он видел во время обучения. То есть он возвращает gamma * (batch - self.moving_mean) / sqrt(self.moving_var + epsilon) + beta.

self.moving_mean и self.moving_var — неизменяемые переменные, которые обновляются каждый раз, когда слой вызывается в режиме обучения, таким образом:

• moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum)
• moving_var = moving_var * momentum + var(batch) * (1 - momentum)

Таким образом, слой будет нормализовать свои входные данные только во время вывода после того, как он был обучен на данных, которые имеют статистику, аналогичную статистике данных вывода.

Аргументы вызова:

• inputs: Входной тензор (любого ранга).
• training: Булево значение Python, указывающее, должен ли слой вести себя в режиме обучения или в режиме вывода.
  • training=True: Слой нормализует свои входные данные, используя среднее и дисперсию текущей порции входных данных.
  • training=False: Слой нормализует свои входные данные, используя среднее и дисперсию своих скользящих статистик, изученных во время обучения.

Форма входных данных: произвольная. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включая ось образцов) при использовании этого слоя в качестве первого слоя в модели.

Форма выходных данных: такая же, как у входных данных.

Ссылка:

• Ioffe и Szegedy, 2015.