tf.contrib.nn.rank_sampled_softmax_loss

Вычисляет потерю softmax с использованием адаптивного ресемплирования на основе ранга.

tf.contrib.nn.rank_sampled_softmax_loss(
    weights, biases, labels, inputs, num_sampled, num_resampled, num_classes,
    num_true, sampled_values, resampling_temperature, remove_accidental_hits,
    partition_strategy, name=None
)

Показано, что это улучшает потерю ранжирования после обучения по сравнению с tf.nn.sampled_softmax_loss. Для описания алгоритма и некоторых экспериментальных результатов см.: TAPAS: Двухэтапное приближенное адаптивное ресемплирование для softmax.

Ресемплирование происходит в две фазы:

• На первой фазе num_sampled классов выбираются с помощью tf.nn.learned_unigram_candidate_sampler или предоставлены sampled_values. Логиты рассчитываются для этих выбранных классов. Эта фаза аналогична tf.nn.sampled_softmax_loss.
• На второй фазе num_resampled классов с наибольшей предсказанной вероятностью сохраняются. Вероятности LogSumExp(logits / resampling_temperature), где сумма берется по inputs.

Параметр resampling_temperature управляет «адаптивностью» ресемплирования. При более низких температурах ресемплирование более адаптивное, потому что оно выбирает больше кандидатов, близких к предсказанным классам. Общей стратегией является уменьшение температуры по мере обучения.

См. tf.nn.sampled_softmax_loss для получения дополнительной документации по ресемплированию и типовых значений параметров по умолчанию.

Эта операция предназначена только для обучения. Как правило, это недооценка полной потери softmax.

Распространенный случай использования — использование этого метода для обучения, а вычисление полной потери softmax для оценки или вывода. В этом случае вы должны установить partition_strategy="div" для согласования двух потерь, как показано в следующем примере:

if mode == "train":
  loss = rank_sampled_softmax_loss(
      weights=weights,
      biases=biases,
      labels=labels,
      inputs=inputs,
      ...,
      partition_strategy="div")
elif mode == "eval":
  logits = tf.matmul(inputs, tf.transpose(weights))
  logits = tf.nn.bias_add(logits, biases)
  labels_one_hot = tf.one_hot(labels, n_classes)
  loss = tf.nn.softmax_cross_entropy_with_logits(
      labels=labels_one_hot,
      logits=logits)