tf.random.learned_unigram_candidate_sampler

Выборка набора классов из распределения, обученного во время обучения.

tf.random.learned_unigram_candidate_sampler(
    true_classes, num_true, num_sampled, unique, range_max, seed=None, name=None
)

Эта операция случайным образом выбирает тензор выбранных классов (sampled_candidates) из диапазона целых чисел [0, range_max).

Элементы sampled_candidates выбираются без повторений (если unique=True) или с повторениями (если unique=False) из базового распределения.

Базовое распределение для этой операции строится динамически во время обучения. Это распределение униграммы по целевым классам, которые были встречены во время обучения. Каждое целое число в [0, range_max) начинает с веса 1 и увеличивается на 1 каждый раз, когда оно встречается в качестве целевого класса. Базовое распределение не сохраняется в контрольных точках, поэтому оно сбрасывается при перезагрузке модели.

Кроме того, эта операция возвращает тензоры true_expected_count и sampled_expected_count, представляющие количество раз, когда каждый из целевых классов (true_classes) и выбранных классов (sampled_candidates) ожидается в среднем тензоре выбранных классов. Эти значения соответствуют Q(y|x), определенному в этом документе. Если unique=True, тогда это вероятности после отбраковки, и мы вычисляем их приближенно.