tf.compat.v1.losses.softmax_cross_entropy

Создаёт потерю кросс-энтропии, используя tf.nn.softmax_cross_entropy_with_logits_v2.

tf.compat.v1.losses.softmax_cross_entropy(
    onehot_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=ops.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

tf.compat.v1.losses.softmax_cross_entropy в основном совместим с выполнением в режиме eager и tf.function. Однако, аргумент loss_collection игнорируется при выполнении в режиме eager, и никакая потеря не будет записана в коллекции потерь. Вам нужно будет либо вручную сохранить возвращаемое значение, либо положиться на отслеживание потерь в tf.keras.Model.

Чтобы переключиться на стиль native TF2, инициализируйте класс tf.keras.losses.CategoricalCrossentropy с from_logits, установленным как True, и вызовите объект вместо этого.

Структурное соответствие с native TF2

До:

loss = tf.compat.v1.losses.softmax_cross_entropy(
  onehot_labels=onehot_labels,
  logits=logits,
  weights=weights,
  label_smoothing=smoothing)

После:

loss_fn = tf.keras.losses.CategoricalCrossentropy(
  from_logits=True,
  label_smoothing=smoothing)
loss = loss_fn(
  y_true=onehot_labels,
  y_pred=logits,
  sample_weight=weights)

Как сопоставить аргументы

Пример использования до и после

До:

y_true = [[0, 1, 0], [0, 0, 1]]
y_pred = [[0.05, 0.95, 0], [0.1, 0.8, 0.1]]
weights = [0.3, 0.7]
smoothing = 0.2
tf.compat.v1.losses.softmax_cross_entropy(y_true, y_pred, weights=weights,
  label_smoothing=smoothing).numpy()
0.57618

После:

cce = tf.keras.losses.CategoricalCrossentropy(from_logits=True,
  label_smoothing=smoothing)
cce(y_true, y_pred, sample_weight=weights).numpy()
0.57618

Описание

weights выступает в качестве коэффициента для потери. Если предоставлено скалярное значение, то потеря просто масштабируется на заданное значение. Если weights является тензором формы [batch_size], то весы потерь применяются к каждой соответствующей выборке.

Если label_smoothing не равно нулю, сгладить метки в направлении 1/num_classes: new_onehot_labels = onehot_labels * (1 - label_smoothing)

+ label_smoothing / num_classes

Обратите внимание, что onehot_labels и logits должны иметь одинаковую форму, например, [batch_size, num_classes]. Форма weights должна быть совместимой с широковещательной рассылкой с потерей, форма которой определяется формой logits. В случае, если форма logits равна [batch_size, num_classes], потеря представляет собой Tensor формы [batch_size].