tf.compat.v1.losses.softmax_cross_entropy

Создает функцию потерь кросс-энтропии с помощью tf.nn.softmax_cross_entropy_with_logits_v2.

tf.compat.v1.losses.softmax_cross_entropy(
    onehot_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=ops.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

tf.compat.v1.losses.softmax_cross_entropy в основном совместим с eager execution и tf.function. Однако аргумент loss_collection игнорируется при eager execution, и функция потерь не добавляется в коллекции функций потерь. Вам потребуется либо самостоятельно сохранить возвращаемое значение, либо полагаться на отслеживание функций потерь в tf.keras.Model.

Чтобы перейти на нативный стиль TF2, создайте экземпляр класса tf.keras.losses.CategoricalCrossentropy, установив from_logits в значение True, и вызывайте этот объект.

Структурное сопоставление с нативным TF2

До:

loss = tf.compat.v1.losses.softmax_cross_entropy(
  onehot_labels=onehot_labels,
  logits=logits,
  weights=weights,
  label_smoothing=smoothing)

После:

loss_fn = tf.keras.losses.CategoricalCrossentropy(
  from_logits=True,
  label_smoothing=smoothing)
loss = loss_fn(
  y_true=onehot_labels,
  y_pred=logits,
  sample_weight=weights)

Сопоставление аргументов

Пример использования до и после

До:

y_true = [[0, 1, 0], [0, 0, 1]]
y_pred = [[0.05, 0.95, 0], [0.1, 0.8, 0.1]]
weights = [0.3, 0.7]
smoothing = 0.2
tf.compat.v1.losses.softmax_cross_entropy(y_true, y_pred, weights=weights,
  label_smoothing=smoothing).numpy()
0.57618

После:

cce = tf.keras.losses.CategoricalCrossentropy(from_logits=True,
  label_smoothing=smoothing)
cce(y_true, y_pred, sample_weight=weights).numpy()
0.57618

Описание

Используется в блокнотах

weights выступает коэффициентом функции потерь. Если задано скалярное значение, функция потерь просто умножается на это значение. Если weights — тензор формы [batch_size], веса функции потерь применяются к каждому соответствующему примеру.

Если label_smoothing не равно нулю, метки сглаживаются в направлении 1/num_classes: new_onehot_labels = onehot_labels * (1 - label_smoothing)

+ label_smoothing / num_classes

Обратите внимание, что onehot_labels и logits должны иметь одинаковую форму, например [batch_size, num_classes]. Форма weights должна допускать широковещательное преобразование относительно функции потерь, форма которой определяется формой logits. Если форма logits равна [batch_size, num_classes], функция потерь представляет собой Tensor формы [batch_size].