tf.math.cumulative_logsumexp

Вычислить кумулятивное логарифмическое суммирование экспонент для тензора x по axis.

tf.math.cumulative_logsumexp(
    x, axis=0, exclusive=False, reverse=False, name=None
)

По умолчанию этот оператор выполняет кумулятивное логарифмическое суммирование экспонент включительно, что означает, что первый элемент входного значения идентичен первому элементу выходного значения.

Эта операция значительно более устойчива к численным ошибкам, чем эквивалентная операция tensorflow tf.math.log(tf.math.cumsum(tf.math.exp(x))), хотя вычисляет тот же результат при бесконечной численной точности. Однако обратите внимание, что в некоторых случаях она может быть менее устойчивой, чем tf.math.reduce_logsumexp для данного элемента, так как она применяет «хитрость логарифмического суммирования экспонент» другим способом.

Более точно, там, где tf.math.reduce_logsumexp использует следующий трюк:

log(sum(exp(x))) == log(sum(exp(x - max(x)))) + max(x)

его нельзя напрямую использовать здесь, так как нет быстрого способа применить его к каждому префиксу x[:i]. Вместо этого эта функция реализует сканирование префикса с использованием парного логарифмического сложения экспонент, которое является коммутативным и ассоциативным (с учетом плавающей точки) оператором:

log_add_exp(x, y) = log(exp(x) + exp(y))
                  = log(1 + exp(min(x, y) - max(x, y))) + max(x, y)

Однако, уменьшение с использованием вышеуказанного оператора приводит к другому дереву вычислений (повторное взятие логарифмов вместо только в конце), а максимум вычисляется только попарно вместо всего префикса. В целом, это приводит к другому и немного менее точному вычислению.