tf.nn.sampled_softmax_loss

Вычисляет и возвращает потери обучения с выборочной софтмакс.

tf.nn.sampled_softmax_loss(
    weights, biases, labels, inputs, num_sampled, num_classes, num_true=1,
    sampled_values=None, remove_accidental_hits=True, seed=None,
    name='sampled_softmax_loss'
)

Это более быстрый способ обучения классификатора софтмакс для огромного количества классов.

Данная операция предназначена только для обучения. Обычно она является недооценкой полной потери софтмакс.

Общим случаем использования является применение этого метода для обучения и вычисление полной потери сигмоиды для оценки или вывода, как показано в следующем примере:

if mode == "train":
  loss = tf.nn.sampled_softmax_loss(
      weights=weights,
      biases=biases,
      labels=labels,
      inputs=inputs,
      ...)
elif mode == "eval":
  logits = tf.matmul(inputs, tf.transpose(weights))
  logits = tf.nn.bias_add(logits, biases)
  labels_one_hot = tf.one_hot(labels, n_classes)
  loss = tf.nn.softmax_cross_entropy_with_logits(
      labels=labels_one_hot,
      logits=logits)

См. нашу Справочник по алгоритмам выборочного отбора

Также см. раздел 3 статьи Жан и др., 2014 (pdf) для математического описания.

Примечание: при выполнении поиска вложениях weights и bias, будет использоваться стратегия разбиения "div". Поддержка других стратегий разбиения будет добавлена позже.