tf.keras.layers.BatchNormalization

Слой, нормализующий входные данные.

Наследуется от: Layer, Operation

tf.keras.layers.BatchNormalization(
    axis=-1,
    momentum=0.99,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer='zeros',
    gamma_initializer='ones',
    moving_mean_initializer='zeros',
    moving_variance_initializer='ones',
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    synchronized=False,
    **kwargs
)

Используется в блокнотах

Пакетная нормализация применяет преобразование, поддерживающее среднее выходных данных около 0, а стандартное отклонение выходных данных — около 1.

Важно отметить, что пакетная нормализация работает по-разному во время обучения и инференса.

Во время обучения (то есть при использовании fit() или вызове слоя/модели с аргументом training=True) слой нормализует выходные данные, используя среднее значение и стандартное отклонение текущего пакета входных данных. Иными словами, для каждого нормализуемого канала слой возвращает gamma * (batch - mean(batch)) / sqrt(var(batch) + epsilon) + beta, где:

• epsilon — небольшая константа (настраивается в аргументах конструктора)
• gamma — обучаемый коэффициент масштабирования (инициализируется значением 1); его можно отключить, передав scale=False конструктору.
• beta — обучаемый коэффициент смещения (инициализируется значением 0); его можно отключить, передав center=False конструктору.

Во время инференса (то есть при использовании evaluate() или predict() либо вызове слоя/модели с аргументом training=False (значение по умолчанию)) слой нормализует выходные данные, используя скользящее среднее среднего значения и стандартного отклонения пакетов, обработанных во время обучения. Иными словами, он возвращает gamma * (batch - self.moving_mean) / sqrt(self.moving_var+epsilon) + beta.

self.moving_mean и self.moving_var — необучаемые переменные, которые обновляются при каждом вызове слоя в режиме обучения следующим образом:

• moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum)
• moving_var = moving_var * momentum + var(batch) * (1 - momentum)

Таким образом, слой будет нормализовать входные данные во время инференса только после обучения на данных со статистическими характеристиками, сходными с характеристиками данных инференса.

Ссылка:

• Ioffe и Szegedy, 2015.

О настройке layer.trainable = False для слоя BatchNormalization:

Настройка layer.trainable = False означает заморозку слоя, то есть его внутреннее состояние не будет изменяться во время обучения: его обучаемые веса не будут обновляться при выполнении fit() или train_on_batch(), а обновления состояния не будут выполняться.

Обычно это не обязательно означает, что слой работает в режиме инференса (который, как правило, определяется аргументом training, передаваемым при вызове слоя). «Замороженное состояние» и «режим инференса» — два разных понятия.

Однако в случае слоя BatchNormalization настройка trainable = False для слоя означает, что впоследствии он будет работать в режиме инференса (то есть будет использовать скользящие среднее и дисперсию для нормализации текущего пакета вместо среднего значения и дисперсии текущего пакета).

Обратите внимание:

• Установка trainable для модели, содержащей другие слои, рекурсивно задаёт значение trainable для всех внутренних слоёв.
• Если значение атрибута trainable изменено после вызова compile() для модели, новое значение не вступит в силу для этой модели, пока compile() не будет вызван повторно.

Методы

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт слой на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать такой же слой из словаря конфигурации. Он не обрабатывает связи между слоями (это делает Network) и веса (это делает set_weights).

symbolic_call

Посмотреть исходный код

symbolic_call(
    *args, **kwargs
)