tf.contrib.nn.deprecated_flipped_sigmoid_cross_entropy_with_logits

Вычисляет кросс-энтропию сигмоиды, заданную logits.

tf.contrib.nn.deprecated_flipped_sigmoid_cross_entropy_with_logits(
    logits, targets, name=None
)

Эта функция отличается от tf.nn.sigmoid_cross_entropy_with_logits только порядком аргументов.

Измеряет ошибку вероятности в задачах дискретной классификации, в которых каждый класс независим и не взаимоисключающий. Например, можно выполнить многоклассовую классификацию, где на изображении могут присутствовать и слон, и собака одновременно.

Для краткости, пусть x = logits, z = targets. Логистическая потеря равна

  z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + log(1 + exp(-x))
= x - x * z + log(1 + exp(-x))

Для x < 0, чтобы избежать переполнения в exp(-x), мы переформулируем вышесказанное

  x - x * z + log(1 + exp(-x))
= log(exp(x)) - x * z + log(1 + exp(-x))
= - x * z + log(1 + exp(x))

Следовательно, чтобы обеспечить стабильность и избежать переполнения, в реализации используется эта эквивалентная формулировка

max(x, 0) - x * z + log(1 + exp(-abs(x)))

logits и targets должны иметь одинаковый тип и форму.