tf.contrib.distributions.bijectors.BatchNormalization

Вычислить `Y = g(X) s.t.

Наследуется от: Bijector

tf.contrib.distributions.bijectors.BatchNormalization(
    batchnorm_layer=None, training=True, validate_args=False,
    name='batch_normalization'
)

X = g^-1(Y) = (Y - mean(Y)) / std(Y)`.

Применяет пакетную нормализацию [(Ioffe и Szegedy, 2015)][1] к выборкам из распределения данных. Это можно использовать для стабилизации обучения нормализующих потоков ([Papamakarios и др., 2016][3]; [Dinh и др., 2017][2])

При обучении глубоких нейронных сетей (DNN) обычно нормализуют или осветляют функции, сдвигая их, чтобы среднее значение было равно нулю, и масштабируя их, чтобы дисперсия была равна единице.

Метод inverse() биджектора BatchNormalization, который используется в вычислении логарифмической вероятности выборок данных, реализует процедуру нормализации (сдвиг и масштабирование) с использованием среднего значения и стандартного отклонения текущей мини-патии.

И наоборот, метод forward() биджектора денормализует выборки (например, X*std(Y) + mean(Y) с использованием усреднённого среднего значения и стандартного отклонения, вычисленного во время обучения. Денермализация полезна для выборки.

dist = tfd.TransformedDistribution(
    distribution=tfd.Normal()),
    bijector=tfb.BatchNorm())

y = tfd.MultivariateNormalDiag(loc=1., scale=2.).sample(100)  # ~ N(1, 2)
x = dist.bijector.inverse(y)  # ~ N(0, 1)
y = dist.sample()  # ~ N(1, 2)

Во время обучения BatchNorm.inverse и BatchNorm.forward не гарантируется, что являются взаимно обратными, потому что inverse(y) использует статистику текущей мини-патии, в то время как forward(x) использует статистику скользящего среднего, накапливаемого во время обучения. Другими словами, BatchNorm.inverse(BatchNorm.forward(...)) и BatchNorm.forward(BatchNorm.inverse(...)) будут идентичны, когда training=False, но могут отличаться, когда training=True.

Ссылки

[1]: Сергей Иoffe и Кристиан Szegedy. Пакетная нормализация: ускорение обучения глубоких сетей за счёт сокращения внутреннего смещения ковариации. В Международной конференции по машинному обучению, 2015. https://arxiv.org/abs/1502.03167

[2]: Лоран Дин, Яша Соль-Диксин и Сами Бенжио. Оценка плотности с использованием реального NVP. В Международной конференции по представлению обучения, 2017. https://arxiv.org/abs/1605.08803

[3]: Джордж Папамакариос, Тео Павлаку и Айэн Мюррей. Маскированный авторегрессивный поток для оценки плотности. В Нейронных системах обработки информации, 2017. https://arxiv.org/abs/1705.07057

Методы

forward

Просмотреть исходный код

forward(
    x, name='forward'
)

Возвращает вычисление forward Bijector, т.е. X = g(Y).

forward_event_shape

Просмотреть исходный код

forward_event_shape(
    input_shape
)

Форма одной выборки из одной пачки как TensorShape.

То же самое, что и forward_event_shape_tensor. Может быть частично определена.

forward_event_shape_tensor

Просмотреть исходный код

forward_event_shape_tensor(
    input_shape, name='forward_event_shape_tensor'
)

Форма одной выборки из одной пачки как int32 1D Tensor.

forward_log_det_jacobian

Просмотреть исходный код

forward_log_det_jacobian(
    x, event_ndims, name='forward_log_det_jacobian'
)

Возвращает both the forward_log_det_jacobian.

inverse

Просмотреть исходный код

inverse(
    y, name='inverse'
)

Возвращает вычисление обратного Bijector, т.е. X = g^{-1}(Y).

inverse_event_shape

Просмотреть исходный код

inverse_event_shape(
    output_shape
)

Форма одного образца из одной партии в виде TensorShape.

То же самое, что и inverse_event_shape_tensor. Может быть определена только частично.

inverse_event_shape_tensor

Просмотреть исходный код

inverse_event_shape_tensor(
    output_shape, name='inverse_event_shape_tensor'
)

Форма одного образца из одной партии в виде int32 1D Tensor.

inverse_log_det_jacobian

Просмотреть исходный код

inverse_log_det_jacobian(
    y, event_ndims, name='inverse_log_det_jacobian'
)

Возвращает (логарифм определителя Якобиан o обратного)(y).

Математически, возвращает: log(det(dX/dY))(Y). (Напомним, что: X=g^{-1}(Y).)

Обратите внимание, что forward_log_det_jacobian является отрицанием этой функции, вычисленной в g^{-1}(y).