tf.nn.weighted_cross_entropy_with_logits

Вычисляет взвешенную перекрёстную энтропию.

tf.nn.weighted_cross_entropy_with_logits(
    labels, logits, pos_weight, name=None
)

Это похоже на sigmoid_cross_entropy_with_logits(), но pos_weight позволяет регулировать полноту и точность, увеличивая или уменьшая вес ошибки положительного класса относительно ошибки отрицательного класса.

Обычная функция потерь перекрёстной энтропии определяется следующим образом:

labels * -log(sigmoid(logits)) +
    (1 - labels) * -log(1 - sigmoid(logits))

Значение pos_weight > 1 уменьшает число ложноотрицательных результатов, тем самым повышая полноту. И наоборот, установка pos_weight < 1 уменьшает число ложноположительных результатов и повышает точность. Это объясняется тем, что pos_weight вводится как множитель для члена с положительными метками в выражении функции потерь:

labels * -log(sigmoid(logits)) * pos_weight +
    (1 - labels) * -log(1 - sigmoid(logits))

Для краткости обозначим x = logits, z = labels, q = pos_weight. Функция потерь имеет вид:

  qz * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= qz * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + (qz +  1 - z) * log(1 + exp(-x))
= (1 - z) * x + (1 + (q - 1) * z) * log(1 + exp(-x))

При установке l = (1 + (q - 1) * z) для обеспечения стабильности и предотвращения переполнения реализация использует

(1 - z) * x + l * (log(1 + exp(-abs(x))) + max(-x, 0))

logits и labels должны иметь одинаковые тип и форму.

labels = tf.constant([1., 0.5, 0.])
logits = tf.constant([1.5, -0.1, -10.])
tf.nn.weighted_cross_entropy_with_logits(
    labels=labels, logits=logits, pos_weight=tf.constant(1.5)).numpy()
array([3.0211994e-01, 8.8049585e-01, 4.5776367e-05], dtype=float32)
tf.nn.weighted_cross_entropy_with_logits(
    labels=labels, logits=logits, pos_weight=tf.constant(0.5)).numpy()
array([1.00706644e-01, 5.08297503e-01, 4.57763672e-05], dtype=float32)

Аргументы
`labels`	`Tensor` того же типа и формы, что и `logits`, со значениями в диапазоне от 0 до 1 включительно.
`logits`	`Tensor` типа `float32` или `float64`, любые действительные числа.
`pos_weight`	Коэффициент, применяемый к положительным примерам; обычно скаляр, но в противном случае он должен допускать широковещательное распространение до формы `logits`. Его значение должно быть неотрицательным.
`name`	Необязательное имя операции.

Возвращает
`Tensor` той же формы, что и `logits`, с покомпонентными взвешенными логистическими функциями потерь.

Вызывает исключение
`ValueError`	Если `logits` и `labels` имеют разные формы.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/nn/weighted_cross_entropy_with_logits