tf.compat.v1.distributions.Categorical

Распределение Категориальное.

Наследуется от: Distribution

tf.compat.v1.distributions.Categorical(
    logits=None,
    probs=None,
    dtype=tf.dtypes.int32,
    validate_args=False,
    allow_nan_stats=True,
    name='Categorical'
)

Распределение Категориальное параметризуется либо вероятностями, либо логарифмами вероятностей набора K классов. Оно определено над целыми числами {0, 1, ..., K}.

Распределение Категориальное тесно связано с распределениями OneHotCategorical и Multinomial. Распределение Категориальное можно интуитивно представить как генерирующее выборки согласно argmax{ OneHotCategorical(probs) }, само по себе идентичное argmax{ Multinomial(probs, total_count=1) }.

Математические детали

Функция вероятности (pmf) имеет вид:

pmf(k; pi) = prod_j pi_j**[k == j]

Опасные ситуации

Количество классов, K, не должно превышать:

• наибольшее целое число, представимое в self.dtype, т.е. 2**(mantissa_bits+1) (IEEE 754),
• максимальный Tensor индекс, т.е. 2**31-1.

Другими словами,

K <= min(2**31-1, {
  tf.float16: 2**11,
  tf.float32: 2**24,
  tf.float64: 2**53 }[param.dtype])

Примечание: Это условие проверяется только при self.validate_args = True.

Примеры

Создаёт распределение с 3 классами, где 2-й класс наиболее вероятен.

dist = Categorical(probs=[0.1, 0.5, 0.4])
n = 1e4
empirical_prob = tf.cast(
    tf.histogram_fixed_width(
      dist.sample(int(n)),
      [0., 2],
      nbins=3),
    dtype=tf.float32) / n
# ==> array([ 0.1005,  0.5037,  0.3958], dtype=float32)

Создаёт распределение с 3 классами, где 2-й класс наиболее вероятен. Параметризуется логарифмами вероятностей вместо самих вероятностей.

dist = Categorical(logits=np.log([0.1, 0.5, 0.4])
n = 1e4
empirical_prob = tf.cast(
    tf.histogram_fixed_width(
      dist.sample(int(n)),
      [0., 2],
      nbins=3),
    dtype=tf.float32) / n
# ==> array([0.1045,  0.5047, 0.3908], dtype=float32)

Создаёт распределение с 3 классами, где 3-й класс наиболее вероятен. Функции распределения могут быть вычислены для подсчётов.

# counts is a scalar.
p = [0.1, 0.4, 0.5]
dist = Categorical(probs=p)
dist.prob(0)  # Shape []

# p will be broadcast to [[0.1, 0.4, 0.5], [0.1, 0.4, 0.5]] to match counts.
counts = [1, 0]
dist.prob(counts)  # Shape [2]

# p will be broadcast to shape [3, 5, 7, 3] to match counts.
counts = [[...]] # Shape [5, 7, 3]
dist.prob(counts)  # Shape [5, 7, 3]

Методы

batch_shape_tensor

Просмотреть исходный код

batch_shape_tensor(
    name='batch_shape_tensor'
)

Форма одной выборки из одного индекса события как 1-мерный Tensor.

Размеры пакета — индексы в независимые, нетождественные параметризации этого распределения.

cdf

Просмотреть исходный код

cdf(
    value, name='cdf'
)

Функция кумулятивного распределения.

Для случайной величины X, функция кумулятивного распределения cdf определяется как:

cdf(x) := P[X <= x]

copy

Просмотреть исходный код

copy(
    **override_parameters_kwargs
)

Создаёт глубокую копию распределения.

Примечание: распределение копии может продолжать зависеть от исходных аргументов инициализации.

covariance

Просмотреть исходный код

covariance(
    name='covariance'
)

Ковариация.

Ковариация (возможно) определена только для распределений с нескалярными событиями.

Например, для распределения длиной k, векторного распределения, она рассчитывается как,

Cov[i, j] = Covariance(X_i, X_j) = E[(X_i - E[X_i]) (X_j - E[X_j])]

где Cov — (вектор) матрица k x k, 0 <= (i, j) < k, и E обозначает математическое ожидание.

В качестве альтернативы, для не-векторных многомерных распределений (например, матричных, Wishart), Covariance должна вернуть (вектор) матрицу при некотором векторизовании событий, т.е.,

Cov[i, j] = Covariance(Vec(X)_i, Vec(X)_j) = [as above]

где Cov — (вектор) матрица k' x k', 0 <= (i, j) < k' = reduce_prod(event_shape), и Vec — некоторая функция, сопоставляющая индексы размерностей событий этого распределения с индексами вектора длины k'.

cross_entropy

Просмотреть исходный код

cross_entropy(
    other, name='cross_entropy'
)

Вычисляет кросс-энтропию (по Шеннону).

Обозначим данное распределение (self) как P, а распределение other — как Q. Предполагая, что P, Q абсолютно непрерывны относительно друг друга и допускают плотности p(x) dr(x) и q(x) dr(x), (кросс-)энтропия Шеннона определяется как:

H[P, Q] = E_p[-log q(X)] = -int_F p(x) log q(x) dr(x)

где F обозначает область значений случайной переменной X ~ P.

entropy

Просмотреть исходный код

entropy(
    name='entropy'
)

Энтропия Шеннона в натах.

event_shape_tensor

Просмотреть исходный код

event_shape_tensor(
    name='event_shape_tensor'
)

Форма одного образца из одного пакета как 1-мерный целочисленный массив int32 Tensor.

is_scalar_batch

Просмотреть исходный код

is_scalar_batch(
    name='is_scalar_batch'
)

Указывает, что batch_shape == [].

is_scalar_event

Просмотреть исходный код

is_scalar_event(
    name='is_scalar_event'
)

Указывает, что event_shape == [].

kl_divergence

Просмотреть исходный код

kl_divergence(
    other, name='kl_divergence'
)

Вычисляет расхождение Кульбака-Лейблера.

Обозначим данное распределение (self) как p, а распределение other — как q. Предполагая, что p, q абсолютно непрерывны относительно меры отсчёта r, расхождение Кульбака-Лейблера определяется как:

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

где F обозначает область значений случайной переменной X ~ p, H[., .] обозначает (кросс-)энтропию Шеннона, а H[.] — (обычную) энтропию Шеннона.

log_cdf

Просмотреть исходный код

log_cdf(
    value, name='log_cdf'
)

Логарифм функции накопленного распределения.

Для случайной переменной X функция накопленного распределения cdf равна:

log_cdf(x) := Log[ P[X <= x] ]

Часто для точности вычисления log_cdf(x) применяется численный метод, дающий более точный результат, чем просто взятие логарифма от cdf, когда x << -1.

log_prob

Просмотреть исходный код

log_prob(
    value, name='log_prob'
)

Логарифм плотности/массы вероятности.

log_survival_function

Просмотреть исходный код

log_survival_function(
    value, name='log_survival_function'
)

Логарифм функции выживания.

При заданной случайной величине X, функция выживания определяется следующим образом:

log_survival_function(x) = Log[ P[X > x] ]
                         = Log[ 1 - P[X <= x] ]
                         = Log[ 1 - cdf(x) ]

Обычно для логарифмической функции выживания могут использоваться различные численные приближения, которые более точны, чем 1 - cdf(x), когда x >> 1.

mean

Просмотреть исходный код

mean(
    name='mean'
)

Среднее значение.

mode

Просмотреть исходный код

mode(
    name='mode'
)

Мода.

param_shapes

Просмотреть исходный код

@classmethod
param_shapes(
    sample_shape, name='DistributionParamShapes'
)

Формы параметров при заданном желаемом виде вызова sample().

Это метод класса, описывающий необходимые ключевые аргументы для создания экземпляра данного Distribution, чтобы получить определенную форму для вызова sample() этим экземпляром.

Подклассы должны переопределить метод класса _param_shapes.

param_static_shapes

Просмотреть исходный код

@classmethod
param_static_shapes(
    sample_shape
)

param_shapes со статическими (т.е. TensorShape) формами.

Это метод класса, описывающий необходимые ключевые аргументы для создания экземпляра данного Distribution, чтобы получить определенную форму для вызова sample() этим экземпляром. Предполагается, что форма выборки известна статически.

Подклассы должны переопределить метод класса _param_shapes, чтобы возвращать тензоры с постоянными значениями при подаче постоянных значений.

prob

Просмотреть исходный код

prob(
    value, name='prob'
)

Функция плотности/массы вероятности.

quantile

Просмотреть исходный код

quantile(
    value, name='quantile'
)

Функция квантиля. Также известна как "обратная функция распределения" или "функция процентиля".

При заданной случайной величине X и p in [0, 1], quantile:

quantile(p) := x such that P[X <= x] == p

sample

Просмотреть исходный код

sample(
    sample_shape=(), seed=None, name='sample'
)

Генерирует выборки заданной формы.

Обратите внимание, что вызов sample() без аргументов сгенерирует одну выборку.

stddev

Просмотреть исходный код

stddev(
    name='stddev'
)

Среднеквадратическое отклонение.

Среднеквадратическое отклонение определяется как,

stddev = E[(X - E[X])**2]**0.5

где X - случайная величина, связанная с этим распределением, E обозначает математическое ожидание, а stddev.shape = batch_shape + event_shape.

survival_function

Просмотреть исходный код

survival_function(
    value, name='survival_function'
)

Функция выживания.

При заданной случайной величине X, функция выживания определяется следующим образом:

survival_function(x) = P[X > x]
                     = 1 - P[X <= x]
                     = 1 - cdf(x).

variance

Просмотреть исходный код

variance(
    name='variance'
)

Дисперсия.

Дисперсия определяется как,

Var = E[(X - E[X])**2]

где X - случайная величина, связанная с этим распределением, E обозначает математическое ожидание, а Var.shape = batch_shape + event_shape.