tensorflow::ops::FixedUnigramCandidateSampler

#include <candidate_sampling_ops.h>

Генерирует метки для выборочного отбора кандидатов с использованием обученной униграммной распределённости.

Сводка

Униграммный выборщик может использовать фиксированное распределение униграмм, считанное из файла или переданное в виде массива в оперативной памяти, вместо построения распределения из данных на лету. Также есть возможность исказить распределение, применив показатель искажения к весам.

Файл словаря должен быть в формате, подобном CSV, где последнее поле — вес, связанный со словом.

Для каждой группы эта операция выбирает один набор выборочных меток кандидатов.

Преимущества отбора кандидатов по группам заключаются в простоте и возможности эффективного умножения матриц. Недостатком является то, что выбранные кандидаты должны выбираться независимо от контекста и истинных меток.

Аргументы:

• scope: Объект Scope
• true_classes: Матрица batch_size * num_true, в которой каждая строка содержит идентификаторы num_true целевых классов в соответствующей исходной метке.
• num_true: Количество истинных меток на контекст.
• num_sampled: Количество кандидатов для случайного отбора.
• unique: Если unique равно true, мы отбираем с отказом, чтобы все отобранные кандидаты в группе были уникальными. Это требует некоторого приближения для оценки вероятностей выборочного отбора после отказа.
• range_max: Выборщик будет выбирать целые числа из интервала [0, range_max).

Необязательные атрибуты (см. Attrs):

• vocab_file: Каждая допустимая строка в этом файле (который должен иметь формат, подобный CSV) соответствует допустимому идентификатору слова. Идентификаторы расположены в последовательном порядке, начиная с num_reserved_ids. Ожидается, что последняя запись в каждой строке будет значением, соответствующим счету или относительной вероятности. Точно один из vocab_file и unigrams должен быть передан в эту операцию.
• distortion: Искажение используется для искажения униграммной вероятностной распределённости. Каждый вес сначала возводится в степень искажения, прежде чем добавляться к внутреннему униграмному распределению. В результате distortion = 1.0 даёт обычный выбор униграмм (как определено файлом словаря), а distortion = 0.0 даёт равномерное распределение.
• num_reserved_ids: Пользователи могут дополнительно добавить некоторые зарезервированные идентификаторы в диапазоне [0, ..., num_reserved_ids). Один из вариантов использования — использование специального маркера для неизвестного слова с идентификатором 0. Эти идентификаторы будут иметь вероятность выборочного отбора, равную 0.
• num_shards: Выборщик может использоваться для отбора из подмножества исходного диапазона для ускорения всего вычисления с помощью параллелизма. Этот параметр (вместе с 'shard') указывает количество разбиений, используемых в общем вычислении.
• shard: Выборщик может использоваться для отбора из подмножества исходного диапазона для ускорения всего вычисления с помощью параллелизма. Этот параметр (вместе с 'num_shards') указывает номер конкретного разбиения операции выборки при использовании разбиения.
• unigrams: Список униграммных счётов или вероятностей, один на каждый идентификатор в последовательном порядке. Точно один из vocab_file и unigrams должен быть передан в эту операцию.
• seed: Если seed или seed2 установлены в ненулевое значение, генератор случайных чисел инициализируется заданным seed. В противном случае он инициализируется случайным seed.
• seed2: Второстепенный seed для избежания столкновений seed.

Возвращает:

• Output sampled_candidates: Вектор длины num_sampled, в котором каждый элемент — идентификатор отобранного кандидата.
• Output true_expected_count: Матрица batch_size * num_true, представляющая количество раз, когда каждый кандидат ожидается в группе отобранных кандидатов. Если unique=true, это вероятность.
• Output sampled_expected_count: Вектор длины num_sampled, для каждого отобранного кандидата, представляющий количество раз, когда кандидат ожидается в группе отобранных кандидатов. Если unique=true, это вероятность.

Общедоступные атрибуты

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

Общедоступные функции

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Общедоступные статические функции

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)