Функция softplus Bijector обладает следующими полезными свойствами:
Областью определения являются положительные вещественные числа
softplus(x) approx x, для больших x, поэтому она не переполняется так легко, как функция ExpBijector.
Необязательный параметр hinge_softness изменяет переход в нуле. При значении hinge_softness = c, биджектор определяется как:
Для больших x >> 1, c * Log[1 + exp(x / c)] approx c * Log[exp(x / c)] = x, поэтому поведение для больших x такое же, как и у стандартной функции softplus.
Когда c > 0 приближается к 0 справа, f_c(x) становится всё менее плавной, приближаясь к max(0, x).
c = 1 является значением по умолчанию.
c > 0 но маленькое значение означает f(x) approx ReLu(x) = max(0, x).
c < 0 меняет знак и отражается относительно y-axis: f_{-c}(x) = -f_c(-x).
c = 0 приводит к небиективному преобразованию и вызывает исключение.
Пример использования:
# Create the Y=g(X)=softplus(X) transform which works only on Tensors with 1
# batch ndim and 2 event ndims (i.e., vector of matrices).
softplus = Softplus()
x = [[[1., 2],
[3, 4]],
[[5, 6],
[7, 8]]]
log(1 + exp(x)) == softplus.forward(x)
log(exp(x) - 1) == softplus.inverse(x)
Примечание: log(.) и exp(.) применяются поэлементно, но якобиан вычисляется по всему пространству событий.
Атрибуты
dtype
тип данных Tensor преобразуемых этим распределением.
forward_min_event_ndims
Возвращает минимальное число измерений, на которых bijector.forward работает.
graph_parents
Возвращает список graph_parents этого Bijector.
hinge_softness
inverse_min_event_ndims
Возвращает минимальное число измерений, на которых bijector.inverse работает.
is_constant_jacobian
Возвращает true, если матрица Якоби не зависит от x.
Примечание: Матрица Якоби либо постоянна для прямого и обратного преобразования, либо ни для одного.
name
Возвращает строковое имя этого Bijector.
validate_args
Возвращает True, если аргументы Tensor будут проверены.
Tensor. Вход для вычисления определителя якобиана прямого преобразования.
event_ndims
Число измерений в вероятностных событиях, преобразуемых. Должно быть больше или равно self.forward_min_event_ndims. Результат суммируется по последним измерениям, чтобы получить скалярный определитель якобиана для каждого события, т. е. имеет форму x.shape.ndims - event_ndims измерений.
name
Имя для данной операции.
Возвращает
Tensor, если этот биджектор инъективен. Если не инъективен, это не реализовано.
Исключения
TypeError
если self.dtype указан, а y.dtype не self.dtype.
NotImplementedError
если ни _forward_log_det_jacobian ни {_inverse, _inverse_log_det_jacobian} не реализованы, или это неинъективный биджектор.
Обратите внимание, что forward_log_det_jacobian является отрицанием этой функции, вычисленной в точке g^{-1}(y).
Аргументы
y
Tensor. Вход для вычисления определителя обратного Якобиана.
event_ndims
Число измерений в преобразуемых вероятностных событиях. Должно быть больше или равно self.inverse_min_event_ndims. Результат суммируется по последним измерениям, чтобы получить скалярный определитель Якобиана для каждого события, т.е. он имеет форму y.shape.ndims - event_ndims измерений.
name
Имя для данного оператора.
Возвращаемое значение
Tensor, если этот биектор является инъективным. Если не инъективен, возвращает кортеж локальных логарифмов определителей Якобиана, log(det(Dg_i^{-1}(y))), где g_i является ограничением g на ith разбиение Di.
Исключения
TypeError
если self.dtype задано, и y.dtype не является self.dtype.
