tf.math.cumulative_logsumexp

Вычислить кумулятивное log-sum-exp тензора x вдоль axis.

tf.math.cumulative_logsumexp(
    x, axis=0, exclusive=False, reverse=False, name=None
)

По умолчанию этот оператор выполняет инклюзивное кумулятивное log-sum-exp, что означает, что первый элемент входных данных идентичен первому элементу выходных данных.

Эта операция значительно более устойчива к числовым ошибкам, чем эквивалентная операция TensorFlow tf.math.log(tf.math.cumsum(tf.math.exp(x))), хотя вычисляет тот же результат при бесконечной числовой точности. Однако обратите внимание, что в некоторых случаях она может быть менее устойчива, чем tf.math.reduce_logsumexp для данного элемента, так как она применяет "трюк log-sum-exp" другим способом.

Более точно, где tf.math.reduce_logsumexp использует следующий трюк:

log(sum(exp(x))) == log(sum(exp(x - max(x)))) + max(x)

он не может быть непосредственно использован здесь, так как нет быстрого способа применить его к каждому префиксу int64. Вместо этого эта функция реализует сдвиговый сканирование префикса с использованием парной log-add-exp, которая является коммутативной и ассоциативной операцией (с точностью до плавающей точки):

log_add_exp(x, y) = log(exp(x) + exp(y))
                  = log(1 + exp(min(x, y) - max(x, y))) + max(x, y)

Однако, сокращение с использованием вышеуказанного оператора приводит к другому дереву вычислений (логи берутся многократно вместо только в конце), а максимум вычисляется только попарно, а не над всем префиксом. В общем случае это приводит к другому и немного менее точному вычислению.