tf.contrib.distributions.Independent

Распределения независимых переменных из набора распределений.

Наследуется от: Distribution

tf.contrib.distributions.Independent(
    distribution, reinterpreted_batch_ndims=None, validate_args=False, name=None
)

Это распределение полезно для рассмотрения набора независимых, но не идентичных распределений как одной случайной величины. Например, распределение Independent, составленное из набора распределений Bernoulli, может определить распределение над изображением (где каждое Bernoulli является распределением над каждым пикселем).

Более точно, набор B (независимых) E-мерных случайных величин (rv) {X_1, ..., X_B}, может быть рассмотрен как [B, E]-мерная случайная величина (X_1, ..., X_B) с вероятностью p(x_1, ..., x_B) = p_1(x_1) * ... * p_B(x_B), где p_b(X_b) — вероятность b-й rv. Более общо, B, E может иметь произвольную форму.

Аналогично, распределение Independent определяет распределение над событиями формы [B, E]. Оно работает, переинтерпретируя правые размерности пакетов как часть размерностей событий. Параметр reinterpreted_batch_ndims управляет количеством размерностей пакетов, которые поглощаются как размерности событий; reinterpreted_batch_ndims < len(batch_shape). Например, функция log_prob влечет за собой reduce_sum над правыми reinterpreted_batch_ndims после вызова базового распределения log_prob. Другими словами, поскольку размерность пакета(ов) индексирует независимые распределения, полученная многомерная величина будет иметь независимые компоненты.

Математические детали

Функция вероятности:

prob(x; reinterpreted_batch_ndims) = tf.reduce_prod(
    dist.prob(x),
    axis=-1-range(reinterpreted_batch_ndims))

Примеры

import tensorflow_probability as tfp
tfd = tfp.distributions

# Make independent distribution from a 2-batch Normal.
ind = tfd.Independent(
    distribution=tfd.Normal(loc=[-1., 1], scale=[0.1, 0.5]),
    reinterpreted_batch_ndims=1)

# All batch dims have been "absorbed" into event dims.
ind.batch_shape  # ==> []
ind.event_shape  # ==> [2]

# Make independent distribution from a 2-batch bivariate Normal.
ind = tfd.Independent(
    distribution=tfd.MultivariateNormalDiag(
        loc=[[-1., 1], [1, -1]],
        scale_identity_multiplier=[1., 0.5]),
    reinterpreted_batch_ndims=1)

# All batch dims have been "absorbed" into event dims.
ind.batch_shape  # ==> []
ind.event_shape  # ==> [2, 2]

Методы

batch_shape_tensor

Просмотреть исходный код

batch_shape_tensor(
    name='batch_shape_tensor'
)

Форма одного образца из одного индекса события в виде одномерного Tensor.

Размерности пакетов являются индексами независимых, но не идентичных параметризаций этого распределения.

cdf

Просмотреть исходный код

cdf(
    value, name='cdf'
)

Функция кумулятивного распределения.

Для случайной величины X, функция кумулятивного распределения cdf имеет вид:

cdf(x) := P[X <= x]

copy

Просмотреть исходный код

copy(
    **override_parameters_kwargs
)

Создает глубокую копию распределения.

Примечание: распределение копии может по-прежнему зависеть от исходных аргументов инициализации.

covariance

Просмотреть исходный код

covariance(
    name='covariance'
)

Ковариация.

Ковариация (возможно) определена только для распределений с размерностью событий, отличной от скалярной.

Например, для распределения с векторными значениями длиной k, она рассчитывается как:

Cov[i, j] = Covariance(X_i, X_j) = E[(X_i - E[X_i]) (X_j - E[X_j])]

где Cov — (набор) k x k матрица, 0 <= (i, j) < k, а E обозначает математическое ожидание.

В альтернативном случае, для невекторных, многомерных распределений (например, матричнозначных, Вишарта), Covariance возвращает (набор) матриц в рамках некоторой векторизации событий, т.е.

Cov[i, j] = Covariance(Vec(X)_i, Vec(X)_j) = [as above]

где Cov — (набор) k' x k' матрицы, 0 <= (i, j) < k' = reduce_prod(event_shape), а Vec — некоторая функция, отображающая индексы размерностей событий этого распределения на индексы вектора длины k'.

cross_entropy

Просмотреть исходный код

cross_entropy(
    other, name='cross_entropy'
)

Вычисляет кросс-энтропию (Шеннона).

Обозначим это распределение (self) как P и распределение other как Q. Предполагая, что P, Q абсолютно непрерывны друг относительно друга и допускают плотности p(x) dr(x) и q(x) dr(x), (энтропия Шеннона) определяется как:

H[P, Q] = E_p[-log q(X)] = -int_F p(x) log q(x) dr(x)

где F обозначает область определения случайной величины X ~ P.

entropy

Просмотреть исходный код

entropy(
    name='entropy'
)

Энтропия Шеннона в натах.

event_shape_tensor

Просмотреть исходный код

event_shape_tensor(
    name='event_shape_tensor'
)

Форма одного образца из одной группы как 1-мерный целочисленный Tensor.

is_scalar_batch

Просмотреть исходный код

is_scalar_batch(
    name='is_scalar_batch'
)

Указывает, что batch_shape == [].

is_scalar_event

Просмотреть исходный код

is_scalar_event(
    name='is_scalar_event'
)

Указывает, что event_shape == [].

kl_divergence

Просмотреть исходный код

kl_divergence(
    other, name='kl_divergence'
)

Вычисляет расхождение Кульбака—Лайблера.

Обозначим это распределение (self) как p и распределение other как q. Предполагая, что p, q являются абсолютно непрерывными относительно меры справки r, расхождение Кульбака—Лайблера определяется как:

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

где F обозначает область значений случайной величины X ~ p, H[., .] обозначает (энтропию Шеннона) кросс-энтропию, а H[.] обозначает (энтропию Шеннона).

log_cdf

Просмотреть исходный код

log_cdf(
    value, name='log_cdf'
)

Логарифмическая кумулятивная функция распределения.

Для случайной величины X, кумулятивная функция распределения cdf имеет вид:

log_cdf(x) := Log[ P[X <= x] ]

Часто для log_cdf(x) можно использовать численное приближение, которое дает более точный результат, чем просто взятие логарифма cdf , когда x << -1.

log_prob

Просмотреть исходный код

log_prob(
    value, name='log_prob'
)

Логарифмическая функция плотности/массы вероятности.

log_survival_function

Просмотреть исходный код

log_survival_function(
    value, name='log_survival_function'
)

Логарифмическая функция выживаемости.

Для случайной величины X, функция выживаемости определяется как:

log_survival_function(x) = Log[ P[X > x] ]
                         = Log[ 1 - P[X <= x] ]
                         = Log[ 1 - cdf(x) ]

Обычно для логарифмической функции выживаемости можно использовать различные численные приближения, которые более точны, чем 1 - cdf(x) при x >> 1.

mean

Просмотреть исходный код

mean(
    name='mean'
)

Среднее значение.

mode

Просмотреть исходный код

mode(
    name='mode'
)

Мода.

param_shapes

Просмотреть исходный код

@classmethod
param_shapes(
    sample_shape, name='DistributionParamShapes'
)

Формы параметров, учитывая желаемую форму вызова sample().

Это метод класса, который описывает необходимые пары «ключ-значение» для создания данного Distribution, чтобы получить определенную форму при вызове sample() экземпляра.

Подклассы должны переопределять метод класса _param_shapes.

param_static_shapes

Просмотреть исходный код

@classmethod
param_static_shapes(
    sample_shape
)

TensorShape формы в TensorShape.

Это метод класса, который описывает необходимые пары «ключ-значение» для создания данного Distribution, чтобы получить определенную форму при вызове sample() экземпляра. Предполагается, что форма образца известна статически.

Подклассы должны переопределять метод класса _param_shapes, чтобы возвращать тензоры с постоянными значениями, когда передаются постоянные значения.

prob

Просмотр исходного кода

prob(
    value, name='prob'
)

Функция плотности/массы вероятности.

quantile

Просмотр исходного кода

quantile(
    value, name='quantile'
)

Функция квантиля. Также известна как «обратная функция распределения» или «функция процентиля».

Для случайной переменной X и p in [0, 1], quantile:

quantile(p) := x such that P[X <= x] == p

sample

Просмотр исходного кода

sample(
    sample_shape=(), seed=None, name='sample'
)

Генерация выборок указанной формы.

Обратите внимание, что вызов sample() без аргументов сгенерирует одну выборку.

stddev

Просмотр исходного кода

stddev(
    name='stddev'
)

Стандартное отклонение.

Стандартное отклонение определяется как,

stddev = E[(X - E[X])**2]**0.5

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, и stddev.shape = batch_shape + event_shape.

survival_function

Просмотр исходного кода

survival_function(
    value, name='survival_function'
)

Функция выживаемости.

Для случайной величины X, функция выживаемости определяется:

survival_function(x) = P[X > x]
                     = 1 - P[X <= x]
                     = 1 - cdf(x).

variance

Просмотр исходного кода

variance(
    name='variance'
)

Дисперсия.

Дисперсия определяется как,

Var = E[(X - E[X])**2]

где X — случайная величина, связанная с этим распределением, E обозначает математическое ожидание, и Var.shape = batch_shape + event_shape.