tf.contrib.distributions.bijectors.RealNVP

RealNVP «слой аффинного сопряжения» для векторных событий.

Наследуется от: Bijector

tf.contrib.distributions.bijectors.RealNVP(
    num_masked, shift_and_log_scale_fn, is_constant_jacobian=False,
    validate_args=False, name=None
)

Real NVP моделирует нормализующее потоковое распределение в D-мерном распределении с помощью одного D-d-мерного условного распределения [(Dinh et al., 2017)][1]:

y[d:D] = y[d:D] * math_ops.exp(log_scale_fn(y[d:D])) + shift_fn(y[d:D]) y[0:d] = x[0:d]

Последние D-d единицы масштабируются и смещаются на основе первых d единиц, в то время как первые d единицы «маскируются» и остаются неизменными. Real NVP's shift_and_log_scale_fn вычисляет векторные величины. Для преобразований масштабирования и сдвига, которые не зависят от каких-либо замаскированных единиц, т.е. d=0, используйте tfb.Affine биджектор с обученными параметрами вместо этого.

Маскирование в настоящее время поддерживается только для базовых распределений с event_ndims=1. Для более сложных схем маскирования, таких как шахматная или канально-ориентированная маскировка [(Papamakarios et al., 2016)[4], используйте tfb.Permute биджектор для переупорядочения требуемых замаскированных единиц в первые d единицы. Для базовых распределений с event_ndims > 1, используйте tfb.Reshape биджектор для сведения формы события.

Обратите внимание, что биджектор MAF [(Papamakarios et al., 2016)][4] реализует нормализующее поток с помощью авторегрессивного преобразования. MAF и IAF имеют противоположные вычислительные компромиссы — MAF может обучать все единицы параллельно, но должен генерировать единицы последовательно, в то время как IAF должен обучать единицы последовательно, но может генерировать параллельно. В отличие от этого, Real NVP может вычислять как прямые, так и обратные вычисления параллельно. Однако отсутствие авторегрессивных преобразований делает его менее выразительным на уровне каждого биджектора.

«Валидный» shift_and_log_scale_fn должен вычислять каждую shift (также известную как loc или «mu» в [Papamakarios et al. (2016)][4]) и log(scale) (также известную как «alpha» в [Papamakarios et al. (2016)][4]) таким образом, чтобы каждая из них могла быть передана с аргументами для forward и inverse, т. е. такие, чтобы вычисления в forward, inverse [ниже] были возможны. Для удобства предлагается функция real_nvp_default_nvp в качестве возможной функции shift_and_log_scale_fn.

NICE [(Dinh et al., 2014)][2] — это частный случай биджектора Real NVP, который отбрасывает масштабирование, что приводит к постоянному времени обратного логарифма определителя якобиана. Чтобы использовать биджектор NICE вместо Real NVP, shift_and_log_scale_fn должно возвращать (shift, None), а is_constant_jacobian должно быть установлено на True в конструкторе RealNVP. Вызов real_nvp_default_template с shift_only=True возвращает один такой совместимый с NICE shift_and_log_scale_fn.

Кэширование: глубина скалярного входа D базового распределения неизвестна во время построения. Первый вызов любого из forward(x), inverse(x), inverse_log_det_jacobian(x), или forward_log_det_jacobian(x) запоминает D, который используется повторно в последующих вызовах. Эта форма должна быть известна до выполнения графика (что выполняется при использовании tf.layers).

Пример использования

import tensorflow_probability as tfp
tfd = tfp.distributions
tfb = tfp.bijectors

# A common choice for a normalizing flow is to use a Gaussian for the base
# distribution. (However, any continuous distribution would work.) E.g.,
num_dims = 3
num_samples = 1
nvp = tfd.TransformedDistribution(
    distribution=tfd.MultivariateNormalDiag(loc=np.zeros(num_dims)),
    bijector=tfb.RealNVP(
        num_masked=2,
        shift_and_log_scale_fn=tfb.real_nvp_default_template(
            hidden_layers=[512, 512])))

x = nvp.sample(num_samples)
nvp.log_prob(x)
nvp.log_prob(np.zeros([num_samples, num_dims]))

Для получения дополнительных примеров см. [Jang (2018)][3].

Список литературы

[1]: Laurent Dinh, Jascha Sohl-Dickstein и Samy Bengio. Оценка плотности с помощью Real NVP. В Международной конференции по представлениям о машинном обучении, 2017. https://arxiv.org/abs/1605.08803

[2]: Laurent Dinh, David Krueger и Yoshua Bengio. NICE: Оценка нелинейных независимых компонентов. arXiv preprint arXiv:1410.8516, 2014. https://arxiv.org/abs/1410.8516

[3]: Эрик Джанг. Руководство по нормализующим потокам, часть 2: Современные нормализующие потоки. Технический отчет, 2018. http://blog.evjang.com/2018/01/nf2.html

[4]: Джордж Папамакариос, Тео Павлаку и Айэн Мюррей. Маскированный авторегрессивный поток для оценки плотности. В Нейронных системах обработки информации, 2017. https://arxiv.org/abs/1705.07057

Методы

forward

Просмотреть исходный код

forward(
    x, name='forward'
)

Возвращает вычисление прямого Bijector, т. е. X = g(Y).

forward_event_shape

Просмотреть исходный код

forward_event_shape(
    input_shape
)

Форма одного образца из одной партии как TensorShape.

То же значение, что и у forward_event_shape_tensor. Может быть частично определено.

forward_event_shape_tensor

Просмотреть исходный код

forward_event_shape_tensor(
    input_shape, name='forward_event_shape_tensor'
)

Форма одного образца из одной партии как вектор int32 1D Tensor.

forward_log_det_jacobian

Просмотреть исходный код

forward_log_det_jacobian(
    x, event_ndims, name='forward_log_det_jacobian'
)

Возвращает как forward_log_det_jacobian.

inverse

Посмотреть исходный код

inverse(
    y, name='inverse'
)

Возвращает обратное вычисление Bijector, т.е., X = g^{-1}(Y).

inverse_event_shape

Посмотреть исходный код

inverse_event_shape(
    output_shape
)

Форма одного образца из одной партии как TensorShape.

То же самое, что и inverse_event_shape_tensor. Может быть частично определена.

inverse_event_shape_tensor

Посмотреть исходный код

inverse_event_shape_tensor(
    output_shape, name='inverse_event_shape_tensor'
)

Форма одного образца из одной партии как int32 1D Tensor.

inverse_log_det_jacobian

Посмотреть исходный код

inverse_log_det_jacobian(
    y, event_ndims, name='inverse_log_det_jacobian'
)

Возвращает (log o det o Jacobian o inverse)(y).

Математически возвращает: log(det(dX/dY))(Y). (Напомним, что: X=g^{-1}(Y).)

Обратите внимание, что forward_log_det_jacobian является отрицанием этой функции, вычисленной в g^{-1}(y).