tf.compat.v1.nn.weighted_cross_entropy_with_logits

Вычисляет взвешенную перекрёстную энтропию. (устаревшие аргументы)

tf.compat.v1.nn.weighted_cross_entropy_with_logits(
    labels=None, logits=None, pos_weight=None, name=None, targets=None
)

Это похоже на sigmoid_cross_entropy_with_logits(), за исключением того, что pos_weight позволяет найти компромисс между полнотой и точностью, увеличивая или уменьшая вес ошибки положительного класса относительно ошибки отрицательного класса.

Обычная функция потерь перекрёстной энтропии определяется следующим образом:

labels * -log(sigmoid(logits)) +
    (1 - labels) * -log(1 - sigmoid(logits))

Значение pos_weight > 1 уменьшает количество ложноотрицательных результатов и тем самым повышает полноту. И наоборот, значение pos_weight < 1 уменьшает количество ложноположительных результатов и повышает точность. Это следует из того, что pos_weight вводится как мультипликативный коэффициент для слагаемого положительных меток в выражении функции потерь:

labels * -log(sigmoid(logits)) * pos_weight +
    (1 - labels) * -log(1 - sigmoid(logits))

Для краткости обозначим x = logits, z = labels, q = pos_weight. Функция потерь равна:

  qz * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= qz * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + (qz +  1 - z) * log(1 + exp(-x))
= (1 - z) * x + (1 + (q - 1) * z) * log(1 + exp(-x))

При l = (1 + (q - 1) * z) для обеспечения стабильности и предотвращения переполнения в реализации используется

(1 - z) * x + l * (log(1 + exp(-abs(x))) + max(-x, 0))

logits и labels должны иметь одинаковые тип и форму.