tf.compat.v1.nn.sigmoid_cross_entropy_with_logits

Вычисляет кросс-энтропию сигмоиды, учитывая logits.

tf.compat.v1.nn.sigmoid_cross_entropy_with_logits(
    labels=None, logits=None, name=None
)

Измеряет вероятностную ошибку в задачах с двумя исходами, в которых каждый исход независим и не требует полностью определённой метки. Например, можно выполнить регрессию, где известна вероятность события и используется в качестве метки. Эта потеря также может использоваться для бинарной классификации, где метки равны либо нулю, либо единице.

Для краткости, пусть x = logits, z = labels. Логистическая потеря равна

  z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + log(1 + exp(-x))
= x - x * z + log(1 + exp(-x))

Для x < 0, чтобы избежать переполнения в exp(-x), мы переформулируем вышесказанное

  x - x * z + log(1 + exp(-x))
= log(exp(x)) - x * z + log(1 + exp(-x))
= - x * z + log(1 + exp(x))

Поэтому, чтобы обеспечить стабильность и избежать переполнения, реализация использует это эквивалентное выражение

max(x, 0) - x * z + log(1 + exp(-abs(x)))

logits и labels должны иметь одинаковый тип и форму.

logits = tf.constant([1., -1., 0., 1., -1., 0., 0.])
labels = tf.constant([0., 0., 0., 1., 1., 1., 0.5])
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=labels, logits=logits).numpy()
array([1.3132617, 0.3132617, 0.6931472, 0.3132617, 1.3132617, 0.6931472,
       0.6931472], dtype=float32)

По сравнению с потерями, которые обрабатывают несколько исходов, tf.nn.softmax_cross_entropy_with_logits для общей многоклассовой классификации и tf.nn.sparse_softmax_cross_entropy_with_logits для более эффективной многоклассовой классификации с жёсткими метками, sigmoid_cross_entropy_with_logits является небольшим упрощением для бинарной классификации:

sigmoid(x) = softmax([x, 0])[0]

\[\frac{1}{1 + e^{-x} } = \frac{e^x}{e^x + e^0}\]

Хотя sigmoid_cross_entropy_with_logits работает с мягкими бинарными метками (вероятности между 0 и 1), она также может быть использована для бинарной классификации, где метки являются жёсткими. В этом случае существует эквивалентность между всеми тремя символами, причём вероятность 0 указывает на второй класс, а 1 - на первый класс:

sigmoid_logits = tf.constant([1., -1., 0.])
softmax_logits = tf.stack([sigmoid_logits, tf.zeros_like(sigmoid_logits)],
                          axis=-1)
soft_binary_labels = tf.constant([1., 1., 0.])
soft_multiclass_labels = tf.stack(
    [soft_binary_labels, 1. - soft_binary_labels], axis=-1)
hard_labels = tf.constant([0, 0, 1])
tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=hard_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616 , 0.6931472 ], dtype=float32)
tf.nn.softmax_cross_entropy_with_logits(
    labels=soft_multiclass_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=soft_binary_labels, logits=sigmoid_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)

Аргументы
`labels`	A `Tensor` того же типа и формы, что и `logits`. Значение между 0 и 1 включительно.
`logits`	A `Tensor` типа `float32` или `float64`. Любое действительное число.
`name`	Имя операции (необязательно).

Возвращаемое значение
A `Tensor` той же формы, что и `logits`, с компонентными логистическими потерями.

Исключения
`ValueError`	Если `logits` и `labels` не имеют одинаковой формы.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/nn/sigmoid_cross_entropy_with_logits