tf.compat.v1.nn.nce_loss

Вычисляет и возвращает обучающую потерю оценки шума и контраста.

tf.compat.v1.nn.nce_loss(
    weights,
    biases,
    labels,
    inputs,
    num_sampled,
    num_classes,
    num_true=1,
    sampled_values=None,
    remove_accidental_hits=False,
    partition_strategy='mod',
    name='nce_loss'
)

Часто используется для обучения, а полная потеря сигмоиды вычисляется для оценки или вывода. В этом случае необходимо установить partition_strategy="div" для согласованности двух потерь, как в следующем примере:

if mode == "train":
  loss = tf.nn.nce_loss(
      weights=weights,
      biases=biases,
      labels=labels,
      inputs=inputs,
      ...,
      partition_strategy="div")
elif mode == "eval":
  logits = tf.matmul(inputs, tf.transpose(weights))
  logits = tf.nn.bias_add(logits, biases)
  labels_one_hot = tf.one_hot(labels, n_classes)
  loss = tf.nn.sigmoid_cross_entropy_with_logits(
      labels=labels_one_hot,
      logits=logits)
  loss = tf.reduce_sum(loss, axis=1)

Примечание: По умолчанию используется распределение логарифмически равномерного (Zipfian) распределения для выборки, поэтому ваши метки должны быть отсортированы в порядке убывания частоты, чтобы получить хорошие результаты. Более подробную информацию см. в tf.random.log_uniform_candidate_sampler.

Примечание: В случае, когда num_true > 1, каждой целевой категории назначается целевая вероятность 1 / num_true, чтобы суммарные вероятности целевых значений равнялись 1 на пример.

Примечание: Было бы полезно разрешить переменное количество целевых категорий на пример. Мы надеемся предоставить эту функциональность в будущих выпусках. Пока что, если у вас есть переменное количество целевых категорий, вы можете дополнить их до постоянного числа, либо повторив их, либо добавив пустую категорию.

Аргументы
`weights`	A `Tensor` формы `[num_classes, dim]`, или список `Tensor` объектов, конкатенация которых по размерности 0 имеет форму [количество_классов, размер]. Векторы встраивания (возможно, разнесённые) классов.
`biases`	A `Tensor` формы `[num_classes]`. Смещения классов.
`labels`	A `Tensor` типа `int64` и формы `[batch_size, num_true]`. Целевые классы.
`inputs`	A `Tensor` формы `[batch_size, dim]`. Активации на выходе входной сети.
`num_sampled`	A `int`. Количество отрицательных классов для случайной выборки на пакет. Эта отдельная выборка отрицательных классов оценивается для каждого элемента пакета.
`num_classes`	A `int`. Количество возможных классов.
`num_true`	A `int`. Количество целевых классов на пример обучения.
`sampled_values`	кортеж (`sampled_candidates`, `true_expected_count`, `sampled_expected_count`) возвращаемый функцией `*_candidate_sampler`. (если None, используется `log_uniform_candidate_sampler`)
`remove_accidental_hits`	A `bool`. Нужно ли удалять "случайные совпадения", где выбранный класс равен одному из целевых классов. Если установлено в `True`, это потеря "выбранной логистики" вместо NCE, и мы учимся генерировать логарифмические шансы вместо логарифмических вероятностей. Смотрите нашу справку по алгоритмам выборки кандидатов (pdf). Значение по умолчанию - False.
`partition_strategy`	Строка, определяющая стратегию разбиения, если `len(weights) > 1`. В настоящее время поддерживаются `"div"` и `"mod"`. Значение по умолчанию - `"mod"`. См. `tf.nn.embedding_lookup` для получения дополнительной информации.
`name`	Имя операции (необязательно).

Возвращаемые значения
A `batch_size` 1-мерный тензор потерь NCE на пример.

Ссылки:

Оценка шума и контраста - новый принцип оценки для ненормализованных статистических моделей: Gutmann et al., 2010 (pdf)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/nn/nce_loss