tf.math.cumulative_logsumexp

Вычислить кумулятивное логарифмическое сумму-экспоненту тензора x вдоль axis.

tf.math.cumulative_logsumexp(
    x, axis=0, exclusive=False, reverse=False, name=None
)

По умолчанию этот оператор выполняет кумулятивную логарифмическую сумму-экспоненту с включением, что означает, что первый элемент входного значения идентичен первому элементу выходного значения.

Эта операция значительно более устойчива к числовым ошибкам, чем эквивалентная операция tensorflow tf.math.log(tf.math.cumsum(tf.math.exp(x))), хотя вычисляет тот же результат при бесконечной точности. Однако обратите внимание, что в некоторых случаях она может быть менее устойчивой, чем tf.math.reduce_logsumexp для данного элемента, поскольку она применяет «трюк логарифмической суммы-экспоненты» по-другому.

Более точно, где tf.math.reduce_logsumexp использует следующий трюк:

log(sum(exp(x))) == log(sum(exp(x - max(x)))) + max(x)

его нельзя напрямую использовать здесь, так как нет быстрого способа применить его к каждому префиксу x[:i]. Вместо этого эта функция реализует сканирование префикса с использованием парной логарифмической суммы-экспоненты, которая является коммутативной и ассоциативной операцией (вплоть до точности с плавающей запятой):

log_add_exp(x, y) = log(exp(x) + exp(y))
                  = log(1 + exp(min(x, y) - max(x, y))) + max(x, y)

Однако, уменьшение с использованием вышеуказанной операции приводит к другому дереву вычислений (логарифмы вычисляются повторно вместо только в конце), а максимум вычисляется только попарно вместо всего префикса. В общем, это приводит к другому и немного менее точному вычислению.