tensorflow::ops::FixedUnigramCandidateSampler

#include <candidate_sampling_ops.h>

Генерирует метки для выборки кандидатов с помощью выученной униграмной распределения.

Краткое описание

Униграмный выборщик может использовать фиксированное униграмное распределение, считанное из файла или переданное в виде массива в оперативной памяти, вместо построения распределения из данных на лету. Также есть возможность исказить распределение, применив степень искажения к весам.

Файл словаря должен быть в формате, похожем на CSV, где последним полем является вес, связанный со словом.

Для каждой группы, этот оператор выбирает один набор выборочных меток-кандидатов.

Преимущества выборки кандидатов по группам – простота и возможность эффективного умножения плотных матриц. Недостатком является то, что выбранные кандидаты должны выбираться независимо от контекста и от истинных меток.

Аргументы:

• scope: Объект Scope
• true_classes: Матрица batch_size * num_true, в которой каждая строка содержит идентификаторы num_true целевых классов в соответствующей исходной метке.
• num_true: Количество истинных меток на контекст.
• num_sampled: Количество кандидатов для случайной выборки.
• unique: Если unique равно true, мы выбираем с отбором, так что все выбранные кандидаты в группе уникальны. Это требует некоторого приближения для оценки вероятностей выборки после отбора.
• range_max: Выборщик будет выбирать целые числа из интервала [0, range_max).

Дополнительные атрибуты (см. Attrs):

• vocab_file: Каждая допустимая строка в этом файле (который должен иметь формат, похожий на CSV) соответствует допустимому идентификатору слова. Идентификаторы упорядочены последовательно, начиная с num_reserved_ids. Ожидается, что последнее поле каждой строки будет значением, соответствующим счету или относительной вероятности. Должен быть передан ровно один из vocab_file и unigrams.
• distortion: Искажение используется для искажения униграмного распределения вероятностей. Каждый вес сначала возводится в степень искажения, прежде чем добавляться к внутреннему униграмному распределению. В результате distortion = 1.0 даёт обычную униграмную выборку (как определено в файле vocab), а distortion = 0.0 даёт равномерное распределение.
• num_reserved_ids: Пользователи могут добавить некоторые резервированные идентификаторы в диапазоне [0, ..., num_reserved_ids). Один из вариантов использования — использование специального токена неизвестного слова в качестве идентификатора 0. Эти идентификаторы будут иметь вероятность выборки 0.
• num_shards: Выборщик может использоваться для выборки из подмножества исходного диапазона для ускорения всего вычисления с помощью параллелизма. Этот параметр (вместе с 'shard') указывает количество разделов, которые используются в общем вычислении.
• shard: Выборщик может использоваться для выборки из подмножества исходного диапазона для ускорения всего вычисления с помощью параллелизма. Этот параметр (вместе с 'num_shards') указывает номер конкретного раздела оператора выборки, когда используется разбиение.
• unigrams: Список униграмных счетчиков или вероятностей, по одному на каждый идентификатор в последовательном порядке. Должен быть передан ровно один из vocab_file и unigrams.
• seed: Если seed или seed2 установлены в ненулевое значение, генератор случайных чисел инициализируется заданным seed. В противном случае он инициализируется случайным seed.
• seed2: Второе значение seed для предотвращения коллизий seed.

Возвращаемое значение:

• Output sampled_candidates: Вектор длины num_sampled, в котором каждый элемент — идентификатор выбранного кандидата.
• Output true_expected_count: Матрица batch_size * num_true, представляющая количество раз, когда каждый кандидат должен появиться в группе выбранных кандидатов. Если unique=true, это вероятность.
• Output sampled_expected_count: Вектор длины num_sampled, для каждого выбранного кандидата, представляющий количество раз, когда кандидат должен появиться в группе выбранных кандидатов. Если unique=true, это вероятность.

Публичные атрибуты

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

Публичные функции

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Публичные статические функции

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)