tensorflow::ops::FixedUnigramCandidateSampler

#include <candidate_sampling_ops.h>

Генерирует метки для выборки кандидатов с помощью выученной униграмной распределения.

Summary

Униграмный выборочник может использовать фиксированное униграмное распределение, считанное из файла или переданное в виде массива в оперативной памяти, вместо построения распределения из данных на лету. Также есть возможность исказить распределение, применив степень искажения к весам.

Файл словаря должен быть в формате, похожем на CSV, где последним полем является вес, связанный со словом.

Для каждого пакета эта операция выбирает единственный набор выборочных меток кандидатов.

Преимущества выборки кандидатов по пакетам — простота и возможность эффективного умножения плотных матриц. Недостатком является то, что отобранные кандидаты должны выбираться независимо от контекста и истинных меток.

Аргументы:

• scope: Объект Scope
• true_classes: Матрица batch_size * num_true, в которой каждая строка содержит идентификаторы num_true целевых классов в соответствующей исходной метке.
• num_true: Количество истинных меток на контекст.
• num_sampled: Количество кандидатов для случайной выборки.
• unique: Если unique истинно, мы производим выборку с отбраковкой, так что все отобранные кандидаты в пакете уникальны. Это требует некоторого приближения для оценки вероятностей выборки после отбраковки.
• range_max: Выборочник будет выбирать целые числа из интервала [0, range_max).

Дополнительные атрибуты (см. Attrs):

• vocab_file: Каждая допустимая строка в этом файле (который должен иметь формат, похожий на CSV) соответствует допустимому идентификатору слова. Идентификаторы упорядочены последовательно, начиная с num_reserved_ids. Ожидается, что последняя запись в каждой строке будет соответствовать счету или относительной вероятности. Для этой операции необходимо передать либо vocab_file, либо unigrams.
• distortion: Искажение используется для искажения распределения вероятностей униграмм. Каждый вес сначала возводится в степень искажения, прежде чем добавляться к внутреннему униграмному распределению. В результате distortion = 1.0 дает обычную выборку униграмм (как определено в файле словаря), а distortion = 0.0 дает равномерное распределение.
• num_reserved_ids: Пользователи могут дополнительно добавить некоторые резервированные идентификаторы в диапазоне [0, ..., num_reserved_ids). Один из вариантов использования — использование специального токена неизвестного слова с идентификатором 0. У этих идентификаторов будет нулевая вероятность выборки.
• num_shards: Выборочник может быть использован для выборки из подмножества исходного диапазона, чтобы ускорить вычисления с помощью параллелизма. Этот параметр (вместе с 'shard') указывает количество разделов, используемых в общем вычислении.
• shard: Выборочник может быть использован для выборки из подмножества исходного диапазона, чтобы ускорить вычисления с помощью параллелизма. Этот параметр (вместе с 'num_shards') указывает конкретный номер раздела оператора выборки при использовании разбиения.
• unigrams: Список униграммных счетчиков или вероятностей, по одному на каждый ID в последовательном порядке. Для этой операции необходимо передать либо vocab_file, либо unigrams.
• seed: Если seed или seed2 установлены в ненулевое значение, генератор случайных чисел инициализируется заданным seed. В противном случае он инициализируется случайным seed.
• seed2: Второй seed для предотвращения столкновений seed.

Возвращаемые значения:

• Output sampled_candidates: Вектор длиной num_sampled, в котором каждый элемент — идентификатор выбранного кандидата.
• Output true_expected_count: Матрица batch_size * num_true, представляющая количество раз, когда каждый кандидат ожидается в пакете отобранных кандидатов. Если unique=true, то это вероятность.
• Output sampled_expected_count: Вектор длиной num_sampled, для каждого выбранного кандидата представляющий количество раз, когда кандидат ожидается в пакете отобранных кандидатов. Если unique=true, то это вероятность.

Публичные атрибуты

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

Публичные функции

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Публичные статические функции

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)