tf.contrib.distributions.RelaxedOneHotCategorical

Распределение RelaxedOneHotCategorical с температурой и логарифмами.

Наследуется от: TransformedDistribution

tf.contrib.distributions.RelaxedOneHotCategorical(
    temperature, logits=None, probs=None, dtype=None, validate_args=False,
    allow_nan_stats=True, name='RelaxedOneHotCategorical'
)

RelaxedOneHotCategorical — это распределение над случайными векторами вероятностей, векторами положительных вещественных значений, которые суммируются до единицы, и непрерывно приближает распределение OneHotCategorical. Степень приближения контролируется температурой: при стремлении температуры к 0 RelaxedOneHotCategorical становится дискретным с распределением, описываемым параметрами logits или probs; при стремлении температуры к бесконечности RelaxedOneHotCategorical становится постоянным распределением, которое идентично постоянному вектору (1/размер_события, ..., 1/размер_события).

Распределение RelaxedOneHotCategorical было одновременно представлено как распределения Gumbel-Softmax (Jang et al., 2016) и Concrete (Maddison et al., 2016) для использования в качестве непрерывного приближения к распределению Categorical one-hot. Если вы используете это распределение, пожалуйста, укажите обе статьи.

Примеры

Создает непрерывное распределение, которое приближает трехклассовое распределение one-hot categorical. Второй класс наиболее вероятно будет иметь наибольший компонент в выборках, взятых из этого распределения.

temperature = 0.5
p = [0.1, 0.5, 0.4]
dist = RelaxedOneHotCategorical(temperature, probs=p)

Создает непрерывное распределение, которое приближает трехклассовое распределение one-hot categorical. Второй класс наиболее вероятно будет иметь наибольший компонент в выборках, взятых из этого распределения.

temperature = 0.5
logits = [-2, 2, 0]
dist = RelaxedOneHotCategorical(temperature, logits=logits)

Создает непрерывное распределение, которое приближает трехклассовое распределение one-hot categorical. Поскольку температура очень низкая, выборки из этого распределения почти дискретные, с одним компонентом почти равным 1, а остальные — почти 0. Второй класс наиболее вероятно будет иметь наибольший компонент в выборках, взятых из этого распределения.

temperature = 1e-5
logits = [-2, 2, 0]
dist = RelaxedOneHotCategorical(temperature, logits=logits)

Создает непрерывное распределение, которое приближает трехклассовое распределение one-hot categorical. Поскольку температура очень высокая, выборки из этого распределения обычно близки к вектору (1/3, 1/3, 1/3). Второй класс по-прежнему наиболее вероятно будет иметь наибольший компонент в выборках, взятых из этого распределения.

temperature = 10
logits = [-2, 2, 0]
dist = RelaxedOneHotCategorical(temperature, logits=logits)

Eric Jang, Shixiang Gu и Ben Poole. Categorical Reparameterization with Gumbel-Softmax. 2016.

Chris J. Maddison, Andriy Mnih и Yee Whye Teh. The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables. 2016.

Методы

batch_shape_tensor

Просмотреть исходный код

batch_shape_tensor(
    name='batch_shape_tensor'
)

Форма одной выборки из одного индекса события в виде одномерного Tensor.

Измерения пакета — это индексы независимых, нетождественных параметризаций этого распределения.

cdf

Просмотреть исходный код

cdf(
    value, name='cdf'
)

Функция кумулятивного распределения.

Учитывая случайную переменную X, функция кумулятивного распределения cdf:

cdf(x) := P[X <= x]

copy

Просмотреть исходный код

copy(
    **override_parameters_kwargs
)

Создает глубокую копию распределения.

Примечание: распределение копии может по-прежнему зависеть от исходных аргументов инициализации.

covariance

Просмотреть исходный код

covariance(
    name='covariance'
)

Ковариация.

Ковариация определена (возможно) только для распределений с нескалярными событиями.

Например, для распределения длиной k, векторного распределения, она рассчитывается как,

Cov[i, j] = Covariance(X_i, X_j) = E[(X_i - E[X_i]) (X_j - E[X_j])]

где Cov — (пакет) матрица k x k, 0 <= (i, j) < k, и E обозначает математическое ожидание.

В альтернативном случае для не векторных, многомерных распределений (например, матричнозначных, Вишарта), Covariance должна вернуть (пакет) матриц в рамках некоторой векторной записи событий, т.е.,

Cov[i, j] = Covariance(Vec(X)_i, Vec(X)_j) = [as above]

где Cov — (пакет) матриц k' x k', 0 <= (i, j) < k' = reduce_prod(event_shape), и Vec — некоторая функция, отображающая индексы измерений событий этого распределения на индексы вектора длиной k'.

Кросс-энтропия

Просмотреть исходный код

cross_entropy(
    other, name='cross_entropy'
)

Вычисляет кросс-энтропию (энтропию Шеннона).

Обозначим это распределение (self) как P, а распределение other как Q. Предполагая, что P, Q абсолютно непрерывны относительно друг друга и допускают плотности p(x) dr(x) и q(x) dr(x), (энтропия Шеннона) кросс-энтропия определяется как:

H[P, Q] = E_p[-log q(X)] = -int_F p(x) log q(x) dr(x)

где F обозначает область определения случайной величины X ~ P.

Энтропия

Просмотреть исходный код

entropy(
    name='entropy'
)

Энтропия Шеннона в натах.

Вектор формы события

Просмотреть исходный код

event_shape_tensor(
    name='event_shape_tensor'
)

Форма одного элемента из одного набора данных как одномерный целочисленный вектор int32 Tensor.

Масштабный пакет

Просмотреть исходный код

is_scalar_batch(
    name='is_scalar_batch'
)

Указывает, что batch_shape == [].

Масштабное событие

Просмотреть исходный код

is_scalar_event(
    name='is_scalar_event'
)

Указывает, что event_shape == [].

Дивергенция Кульбака—Лайблера

Просмотреть исходный код

kl_divergence(
    other, name='kl_divergence'
)

Вычисляет дивергенцию Кульбака—Лайблера.

Обозначим это распределение (self) как p, а распределение other как q. Предполагая, что p, q абсолютно непрерывны относительно эталонной меры r, дивергенция KL определяется как:

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

где F обозначает область определения случайной величины X ~ p, H[., .] обозначает (энтропию Шеннона) кросс-энтропию, а H[.] обозначает (энтропию Шеннона) энтропию.

Логарифм функции распределения

Просмотреть исходный код

log_cdf(
    value, name='log_cdf'
)

Логарифм функции кумулятивного распределения.

Для случайной величины X функция кумулятивного распределения cdf определяется как:

log_cdf(x) := Log[ P[X <= x] ]

Часто для log_cdf(x) можно использовать численное приближение, которое дает более точный результат, чем просто взятие логарифма cdf, когда x << -1.

Логарифм плотности/массы вероятности

Просмотреть исходный код

log_prob(
    value, name='log_prob'
)

Логарифм плотности/массы вероятности.

Логарифм функции выживания

Просмотреть исходный код

log_survival_function(
    value, name='log_survival_function'
)

Логарифм функции выживания.

Для случайной величины X функция выживания определяется как:

log_survival_function(x) = Log[ P[X > x] ]
                         = Log[ 1 - P[X <= x] ]
                         = Log[ 1 - cdf(x) ]

Обычно для логарифма функции выживания можно использовать различные численные приближения, которые более точны, чем 1 - cdf(x), когда x >> 1.

Среднее значение

Просмотреть исходный код

mean(
    name='mean'
)

Среднее значение.

Мода

Просмотреть исходный код

mode(
    name='mode'
)

Мода.

Формы параметров

Просмотреть исходный код

@classmethod
param_shapes(
    sample_shape, name='DistributionParamShapes'
)

Формы параметров, учитывая желаемую форму вызова sample().

Это метод класса, описывающий необходимые ключевые/значимые аргументы для создания данного Distribution, чтобы получить определённую форму для вызова sample() этого экземпляра.

Подклассы должны переопределять метод класса _param_shapes.

param_static_shapes

Просмотреть исходный код

@classmethod
param_static_shapes(
    sample_shape
)

param_shapes со статическими (т.е. TensorShape) формами.

Это метод класса, описывающий необходимые пары «ключ-значение» аргументов для создания экземпляра данного Distribution, чтобы получить определенную форму для вызова sample() этим экземпляром. Предполагается, что форма выборки известна статически.

Подклассы должны переопределять метод класса _param_shapes для возврата тензоров с постоянными значениями при подаче постоянных значений.

prob

Просмотреть исходный код

prob(
    value, name='prob'
)

Функция плотности/массы вероятности.

quantile

Просмотреть исходный код

quantile(
    value, name='quantile'
)

Функция квантиля. Также известна как «обратная функция распределения» или «функция процентиля».

Для случайной величины X и p in [0, 1], quantile:

quantile(p) := x such that P[X <= x] == p

sample

Просмотреть исходный код

sample(
    sample_shape=(), seed=None, name='sample'
)

Генерация выборок заданной формы.

Обратите внимание, что вызов sample() без аргументов сгенерирует одну выборку.

stddev

Просмотреть исходный код

stddev(
    name='stddev'
)

Среднее квадратическое отклонение.

Среднее квадратическое отклонение определяется как,

stddev = E[(X - E[X])**2]**0.5

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, и stddev.shape = batch_shape + event_shape.

survival_function

Просмотреть исходный код

survival_function(
    value, name='survival_function'
)

Функция выживания.

Для случайной величины X функция выживания определяется как:

survival_function(x) = P[X > x]
                     = 1 - P[X <= x]
                     = 1 - cdf(x).

variance

Просмотреть исходный код

variance(
    name='variance'
)

Дисперсия.

Дисперсия определяется как,

Var = E[(X - E[X])**2]

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, и Var.shape = batch_shape + event_shape.