tf.contrib.distributions.RelaxedBernoulli

Распределение RelaxedBernoulli с параметрами температуры и логарифмов.

Наследуется от: TransformedDistribution

tf.contrib.distributions.RelaxedBernoulli(
    temperature, logits=None, probs=None, validate_args=False, allow_nan_stats=True,
    name='RelaxedBernoulli'
)

Распределение RelaxedBernoulli — это распределение на единичном интервале (0,1), которое непрерывно приближает биномиальное распределение. Степень приближения контролируется температурой: при стремлении температуры к 0 RelaxedBernoulli становится дискретным с распределением, задаваемым параметрами logits или probs, а при стремлении температуры к бесконечности RelaxedBernoulli становится постоянным распределением, равным 0,5.

Распределение RelaxedBernoulli — это перепараметризованное непрерывное распределение, являющееся бинарным частным случаем распределения RelaxedOneHotCategorical (Maddison et al., 2016; Jang et al., 2016). Подробности о бинарном частном случае см. в приложении к работе Maddison et al. (2016), где оно называется BinConcrete. Если вы используете это распределение, пожалуйста, укажите обе работы.

Необходимо проявлять осторожность при использовании функций потерь, которые зависят от логарифма вероятности RelaxedBernoulli, поскольку вычисление логарифмов вероятности RelaxedBernoulli может столкнуться с проблемами с потерей точности. В многих случаях такие функции потерь инвариантны относительно обратимых преобразований случайных величин. Примером является расхождение Кульбака-Лейблера, используемое в потерях вариационного автоэнкодера. Поскольку RelaxedBernoulli генерируются случайной величиной Logistic, за которой следует операция tf.sigmoid, одним из решений является обработка Logistic как случайной величины и операция tf.sigmoid как последующей. Расхождение Кульбака-Лейблера двух величин Logistic, за которыми всегда следует операция tf.sigmoid, эквивалентно вычислению расхождения Кульбака-Лейблера для выборок из RelaxedBernoulli. Подробнее см. Maddison et al., 2016, где это распределение называется BinConcrete.

Альтернативный подход заключается в непосредственном вычислении логарифма вероятности Бернулли или расхождения Кульбака-Лейблера для релаксированных выборок, как это делается в Jang et al., 2016. В этом случае гарантии относительно потерь, как правило, нарушаются. Например, использование расхождения Кульбака-Лейблера Бернулли в релаксированном ELBO больше не является нижней границей логарифма маргинальной вероятности наблюдения. Поэтому важно проявлять осторожность и использовать раннее прекращение обучения.

Примеры

Создает три непрерывных распределения, которые аппроксимируют 3 биномиальных распределения с вероятностями (0,1, 0,5, 0,4). Выборки из этих распределений будут лежать в единичном интервале (0,1).

temperature = 0.5
p = [0.1, 0.5, 0.4]
dist = RelaxedBernoulli(temperature, probs=p)

Создает три непрерывных распределения, которые аппроксимируют 3 биномиальных распределения с логарифмами (-2, 2, 0). Выборки из этих распределений будут лежать в единичном интервале (0,1).

temperature = 0.5
logits = [-2, 2, 0]
dist = RelaxedBernoulli(temperature, logits=logits)

Создает три непрерывных распределения, синус которых аппроксимирует 3 биномиальных распределения с логарифмами (-2, 2, 0).

temperature = 0.5
logits = [-2, 2, 0]
dist = Logistic(logits/temperature, 1./temperature)
samples = dist.sample()
sigmoid_samples = tf.sigmoid(samples)
# sigmoid_samples has the same distribution as samples from
# RelaxedBernoulli(temperature, logits=logits)

Создает три непрерывных распределения, которые аппроксимируют 3 биномиальных распределения с логарифмами (-2, 2, 0). Выборки из этих распределений будут лежать в единичном интервале (0,1). Поскольку температура очень низкая, выборки из этих распределений почти дискретные, обычно принимая значения, очень близкие к 0 или 1.

temperature = 1e-5
logits = [-2, 2, 0]
dist = RelaxedBernoulli(temperature, logits=logits)

Создает три непрерывных распределения, которые аппроксимируют 3 биномиальных распределения с логарифмами (-2, 2, 0). Выборки из этих распределений будут лежать в единичном интервале (0,1). Поскольку температура очень высокая, выборки из этих распределений обычно близки к вектору (0,5, 0,5, 0,5).

temperature = 100
logits = [-2, 2, 0]
dist = RelaxedBernoulli(temperature, logits=logits)

Крис Дж. Маддисон, Андрий Миних и Ии Вай Уэ Те. Распределение Concrete: Непрерывное приближение дискретных случайных величин. 2016.

Эрик Джанг, Шисян Гу и Бен Пул. Перепараметризация категориальных распределений с помощью Gumbel-Softmax. 2016.

Методы

batch_shape_tensor

Просмотреть исходный код

batch_shape_tensor(
    name='batch_shape_tensor'
)

Размерность одной выборки из одного индекса события как одномерный Tensor.

Размерность партии — это индексы независимых, но не идентичных параметризаций этого распределения.

cdf

Просмотреть исходный код

cdf(
    value, name='cdf'
)

Функция накопленного распределения.

Для случайной величины X, функция накопленного распределения cdf имеет вид:

cdf(x) := P[X <= x]

copy

Просмотреть исходный код

copy(
    **override_parameters_kwargs
)

Создает глубокую копию распределения.

Примечание: скопированное распределение может по-прежнему зависеть от исходных аргументов инициализации.

covariance

Просмотреть исходный код

covariance(
    name='covariance'
)

Ковариация.

Ковариация (возможно) определена только для распределений с нескалярными событиями.

Например, для векторного распределения длины k, она рассчитывается как,

Cov[i, j] = Covariance(X_i, X_j) = E[(X_i - E[X_i]) (X_j - E[X_j])]

где Cov — (пакет) k x k матрица, 0 <= (i, j) < k, и E обозначает математическое ожидание.

В качестве альтернативы, для невекторных многомерных распределений (например, матричных, Wishart), Covariance должна возвращать (пакет) матриц в рамках некоторой векторной записи событий, т.е.,

Cov[i, j] = Covariance(Vec(X)_i, Vec(X)_j) = [as above]

где Cov — (пакет) k' x k' матриц, 0 <= (i, j) < k' = reduce_prod(event_shape), и Vec — некоторая функция, сопоставляющая индексы размерностей событий этого распределения с индексами вектора длины k'.

cross_entropy

Просмотреть исходный код

cross_entropy(
    other, name='cross_entropy'
)

Вычисляет перекрестную энтропию (Шеннона).

Обозначим это распределение (self) как P и распределение other как Q. Предполагая, что P, Q абсолютно непрерывны друг относительно друга и допускают плотности p(x) dr(x) и q(x) dr(x), (энтропия Шеннона) перекрестная энтропия определяется как:

H[P, Q] = E_p[-log q(X)] = -int_F p(x) log q(x) dr(x)

где F обозначает область определения случайной величины X ~ P.

entropy

Просмотреть исходный код

entropy(
    name='entropy'
)

Энтропия Шеннона в натах.

event_shape_tensor

Просмотреть исходный код

event_shape_tensor(
    name='event_shape_tensor'
)

Форма одного образца из одного набора в виде целочисленного 1-мерного тензора int32 Tensor.

is_scalar_batch

Просмотреть исходный код

is_scalar_batch(
    name='is_scalar_batch'
)

Указывает, что batch_shape == [].

is_scalar_event

Просмотреть исходный код

is_scalar_event(
    name='is_scalar_event'
)

Указывает, что event_shape == [].

kl_divergence

Просмотреть исходный код

kl_divergence(
    other, name='kl_divergence'
)

Вычисляет расхождение Кульбака—Лейблера.

Обозначим это распределение (self) как p и распределение other как q. Предполагая, что p, q абсолютно непрерывны относительно эталонной меры r, расхождение Кульбака—Лейблера определяется как:

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

где F обозначает область определения случайной величины X ~ p, H[., .] обозначает (энтропию Шеннона) перекрестную энтропию, а H[.] обозначает (энтропию Шеннона) энтропию.

log_cdf

Просмотреть исходный код

log_cdf(
    value, name='log_cdf'
)

Логарифмическая функция кумулятивного распределения.

Для случайной величины X, функция кумулятивного распределения cdf имеет вид:

log_cdf(x) := Log[ P[X <= x] ]

Часто для log_cdf(x) используется численный приближенный метод, который дает более точный результат, чем просто логарифмирование cdf, когда x << -1.

log_prob

Просмотреть исходный код

log_prob(
    value, name='log_prob'
)

Логарифмическая плотность/масса вероятности.

log_survival_function

Просмотреть исходный код

log_survival_function(
    value, name='log_survival_function'
)

Логарифмическая функция выживания.

Для случайной величины X, функция выживания определяется как:

log_survival_function(x) = Log[ P[X > x] ]
                         = Log[ 1 - P[X <= x] ]
                         = Log[ 1 - cdf(x) ]

Обычно для логарифмической функции выживания используются различные численные приближения, которые более точны, чем 1 - cdf(x) при x >> 1.

mean

Просмотреть исходный код

mean(
    name='mean'
)

Среднее значение.

mode

Просмотреть исходный код

mode(
    name='mode'
)

Мода.

param_shapes

Просмотреть исходный код

@classmethod
param_shapes(
    sample_shape, name='DistributionParamShapes'
)

Формы параметров, заданных желаемой формой вызова sample().

Это метод класса, который описывает требуемые пары «ключ-значение» для создания экземпляра данного Distribution, чтобы получить определённую форму при вызове sample().

Подклассы должны переопределять метод класса _param_shapes.

param_static_shapes

Просмотреть исходный код

@classmethod
param_static_shapes(
    sample_shape
)

param_shapes со статическими (т. е. TensorShape) формами.

Это метод класса, который описывает требуемые пары «ключ-значение» для создания экземпляра данного Distribution, чтобы получить определённую форму при вызове sample(). Предполагается, что форма выборки известна статически.

Подклассы должны переопределять метод класса _param_shapes, чтобы возвращать тензоры с постоянными значениями при передаче постоянных значений.

prob

Просмотреть исходный код

prob(
    value, name='prob'
)

Функция плотности/массы вероятности.

quantile

Просмотреть исходный код

quantile(
    value, name='quantile'
)

Функция квантиля. Также известна как «обратная функция распределения» или «функция процентиля».

Для случайной переменной X и p in [0, 1], quantile:

quantile(p) := x such that P[X <= x] == p

sample

Просмотреть исходный код

sample(
    sample_shape=(), seed=None, name='sample'
)

Генерация выборок указанной формы.

Обратите внимание, что вызов sample() без аргументов сгенерирует одну выборку.

stddev

Просмотреть исходный код

stddev(
    name='stddev'
)

Стандартное отклонение.

Стандартное отклонение определяется как,

stddev = E[(X - E[X])**2]**0.5

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, а stddev.shape = batch_shape + event_shape.

survival_function

Просмотреть исходный код

survival_function(
    value, name='survival_function'
)

Функция выживания.

Для случайной величины X, функция выживания определяется:

survival_function(x) = P[X > x]
                     = 1 - P[X <= x]
                     = 1 - cdf(x).

variance

Просмотреть исходный код

variance(
    name='variance'
)

Дисперсия.

Дисперсия определяется как,

Var = E[(X - E[X])**2]

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, а Var.shape = batch_shape + event_shape.