tf.math.cumulative_logsumexp

Вычислить кумулятивную логарифмическую сумму экспонент тензора x вдоль axis.

tf.math.cumulative_logsumexp(
    x, axis=0, exclusive=False, reverse=False, name=None
)

По умолчанию этот оператор выполняет кумулятивную логарифмическую сумму экспонент по включительному принципу, что означает, что первый элемент входного значения совпадает с первым элементом выходного значения.

Данная операция значительно более устойчива к числовым ошибкам, чем эквивалентная операция TensorFlow tf.math.log(tf.math.cumsum(tf.math.exp(x))), хотя вычисляет тот же результат при бесконечной точности. Однако обратите внимание, что в некоторых случаях она может быть менее устойчивой, чем tf.math.reduce_logsumexp для данного элемента, так как использует «приём логарифмической суммы экспонент» по-другому.

Более точно, где tf.math.reduce_logsumexp использует следующий приём:

log(sum(exp(x))) == log(sum(exp(x - max(x)))) + max(x)

его нельзя напрямую использовать здесь, так как нет быстрого способа применить его к каждому префиксу x[:i]. Вместо этого эта функция реализует сканирование префикса с использованием парной логарифмической суммы экспонент, которая является коммутативной и ассоциативной операцией (с точностью до погрешности с плавающей точкой):

log_add_exp(x, y) = log(exp(x) + exp(y))
                  = log(1 + exp(min(x, y) - max(x, y))) + max(x, y)

Однако, уменьшение с использованием вышеуказанной операции приводит к различной вычислительной структуре (логарифмы вычисляются повторно, а не только в конце), а максимум вычисляется только попарно, а не по всему префиксу. В общем, это приводит к другому, несколько менее точному вычислению.