tf.keras.layers.LayerNormalization

Слой нормализации по слоям (Ba et al., 2016).

Наследует от: Layer, Operation

tf.keras.layers.LayerNormalization(
    axis=-1,
    epsilon=0.001,
    center=True,
    scale=True,
    rms_scaling=False,
    beta_initializer='zeros',
    gamma_initializer='ones',
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    **kwargs
)

Используется в блокнотах

Нормализует активации предыдущего слоя независимо для каждого заданного примера в пакете, а не для всего пакета, как при пакетной нормализации. То есть применяет преобразование, которое поддерживает среднее значение активации каждого примера близким к 0, а стандартное отклонение активации — близким к 1.

Если включены scale или center, слой масштабирует нормализованные выходные данные, распространяя по ним обучаемую переменную gamma, и центрирует выходные данные, распространяя по ним обучаемую переменную beta. По умолчанию gamma будет тензором единиц, а beta — тензором нулей, поэтому до начала обучения центрирование и масштабирование не будут оказывать эффекта.

Таким образом, при включенных масштабировании и центрировании уравнения нормализации выглядят следующим образом:

Пусть промежуточные активации мини-пакета задаются как inputs.

Для каждого примера x_i в inputs с k признаками вычислим среднее и дисперсию примера:

mean_i = sum(x_i[j] for j in range(k)) / k
var_i = sum((x_i[j] - mean_i) ** 2 for j in range(k)) / k

а затем вычислим нормализованное значение x_i_normalized, добавив небольшую величину epsilon для обеспечения численной устойчивости.

x_i_normalized = (x_i - mean_i) / sqrt(var_i + epsilon)

И наконец, x_i_normalized линейно преобразуется с помощью gamma и beta — обучаемых параметров:

output_i = x_i_normalized * gamma + beta

gamma и beta охватывают оси inputs, заданные в axis; эта часть формы входных данных должна быть полностью определена.

Например:

layer = keras.layers.LayerNormalization(axis=[1, 2, 3])
layer.build([5, 20, 30, 40])
print(layer.beta.shape)
(20, 30, 40)
print(layer.gamma.shape)
(20, 30, 40)

Обратите внимание, что в других реализациях нормализации по слоям параметры gamma и beta могут определяться по отдельному набору осей, отличному от осей, по которым выполняется нормализация. Например, групповая нормализация (Wu et al., 2018) с размером группы 1 соответствует нормализации по слоям, выполняемой по высоте, ширине и каналам, при этом gamma и beta охватывают только измерение каналов. Поэтому эта реализация нормализации по слоям не будет соответствовать слою групповой нормализации с размером группы 1.

Литература:

• Lei Ba et al., 2016.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает слой на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать экземпляр того же слоя на основе словаря конфигурации. Он не обрабатывает связи между слоями (этим занимается Network) и веса (этим занимается set_weights).

symbolic_call

Просмотреть исходный код

symbolic_call(
    *args, **kwargs
)