tf.random.learned_unigram_candidate_sampler

Выбирает набор классов из распределения, сформированного во время обучения.

tf.random.learned_unigram_candidate_sampler(
    true_classes,
    num_true,
    num_sampled,
    unique,
    range_max,
    seed=None,
    name=None
)

Эта операция случайным образом выбирает тензор выбранных классов (sampled_candidates) из диапазона целых чисел [0, range_max).

Краткое введение в алгоритмы выборки кандидатов см. в справочнике по алгоритмам выборки кандидатов.

Элементы sampled_candidates выбираются из базового распределения без повторений (если unique=True) или с повторениями (если unique=False).

Базовое распределение для этой операции формируется в процессе обучения. Это унимодальное распределение по целевым классам, встретившимся к текущему моменту обучения. Начальный вес каждого целого числа в [0, range_max) равен 1 и увеличивается на 1 при каждом появлении этого числа в качестве целевого класса. Базовое распределение не сохраняется в контрольных точках, поэтому при повторной загрузке модели оно сбрасывается.

Кроме того, эта операция возвращает тензоры true_expected_count и sampled_expected_count, представляющие ожидаемое количество появлений каждого целевого класса (true_classes) и каждого выбранного класса (sampled_candidates) в среднем тензоре выбранных классов. Эти значения соответствуют величинам Q(y|x), определенным в справочнике по алгоритмам выборки кандидатов. Если unique=True, то это вероятности после отклонения, и мы вычисляем их приближенно.

Обратите внимание, что эта функция (как и другие функции *_candidate_sampler) предоставляет только компоненты для реализации различных алгоритмов выборки кандидатов, перечисленных в большой таблице справочника по алгоритмам выборки кандидатов. Алгоритмы вам всё равно нужно реализовать самостоятельно.

Например, согласно этой таблице, выражение «отрицательные примеры» может иметь разный смысл в разных алгоритмах. Так, в NCE «отрицательные примеры» — это S_i (то есть только выбранные классы), которые могут пересекаться с истинными классами, тогда как в Sampled Logistic «отрицательные примеры» — это S_i - T_i, не включающие истинные классы. Возвращаемое значение sampled_candidates соответствует S_i, а не какому-либо конкретному определению «отрицательных примеров» в каком-либо алгоритме. Вы сами должны выбрать алгоритм и вычислить «отрицательные примеры», определенные этим алгоритмом (например, S_i - T_i).

Другой пример: аргумент true_classes используется для вычисления результата true_expected_count (как побочного результата основного вычисления этой функции), который может потребоваться некоторым алгоритмам (согласно этой таблице). Он не предназначен для исключения истинных классов из возвращаемого значения sampled_candidates. И снова: этот шаг зависит от алгоритма, и выполнять его должны вы.