tensorflow::ops::FixedUnigramCandidateSampler::Attrs

#include <candidate_sampling_ops.h>

Необязательные методы настройки атрибутов для FixedUnigramCandidateSampler.

Сводка

Публичные атрибуты
`distortion_ = 1.0f`	`float`
`num_reserved_ids_ = 0`	`int64`
`num_shards_ = 1`	`int64`
`seed2_ = 0`	`int64`
`seed_ = 0`	`int64`
`shard_ = 0`	`int64`
`unigrams_ = {}`	`gtl::ArraySlice< float >`
`vocab_file_ = ""`	`StringPiece`

Публичные функции
`Distortion(float x)`	`TF_MUST_USE_RESULT Attrs` Искажение используется для изменения распределения вероятностей униграмм.
`NumReservedIds(int64 x)`	`TF_MUST_USE_RESULT Attrs` Пользователи могут при необходимости добавить некоторые зарезервированные идентификаторы в диапазоне [0, ..., num_reserved_ids).
`NumShards(int64 x)`	`TF_MUST_USE_RESULT Attrs` Для ускорения вычислений за счёт распараллеливания сэмплер может выбирать значения из подмножества исходного диапазона.
`Seed(int64 x)`	`TF_MUST_USE_RESULT Attrs` Если для seed или seed2 задано ненулевое значение, генератор случайных чисел инициализируется указанным seed.
`Seed2(int64 x)`	`TF_MUST_USE_RESULT Attrs` Второе начальное значение для предотвращения коллизии значений seed.
`Shard(int64 x)`	`TF_MUST_USE_RESULT Attrs` Для ускорения вычислений за счёт распараллеливания сэмплер может выбирать значения из подмножества исходного диапазона.
`Unigrams(const gtl::ArraySlice< float > & x)`	`TF_MUST_USE_RESULT Attrs` Список частот или вероятностей униграмм — по одной для каждого идентификатора в последовательном порядке.
`VocabFile(StringPiece x)`	`TF_MUST_USE_RESULT Attrs` Каждая допустимая строка в этом файле (формат которого должен быть похож на CSV) соответствует допустимому идентификатору слова.

Публичные атрибуты

distortion_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

seed_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

shard_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrams_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Публичные функции

Distortion

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

Искажение используется для изменения распределения вероятностей униграмм.

Перед добавлением во внутреннее распределение униграмм вес каждого элемента возводится в степень, заданную параметром distortion. В результате значение distortion = 1.0 обеспечивает обычную выборку униграмм (согласно файлу словаря), а distortion = 0.0 — равномерное распределение.

По умолчанию — 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Пользователи могут при необходимости добавить некоторые зарезервированные идентификаторы в диапазоне [0, ..., num_reserved_ids).

Например, в качестве идентификатора 0 может использоваться специальный токен неизвестного слова. Вероятность выборки этих идентификаторов будет равна 0.

По умолчанию — 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Для ускорения вычислений за счёт распараллеливания сэмплер может выбирать значения из подмножества исходного диапазона.

Этот параметр (вместе с параметром 'shard') задаёт количество разделов, используемых во всём вычислении.

По умолчанию — 1

Seed

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Если для seed или seed2 задано ненулевое значение, генератор случайных чисел инициализируется указанным seed.

В противном случае он инициализируется случайным начальным значением.

По умолчанию — 0

Seed2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Второе начальное значение для предотвращения коллизии значений seed.

По умолчанию — 0

Shard

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Этот параметр (вместе с параметром 'num_shards') задаёт номер конкретного раздела для операции сэмплера при использовании разбиения на части.

По умолчанию — 0

Unigrams

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Список частот или вероятностей униграмм — по одной для каждого идентификатора в последовательном порядке.

В эту операцию необходимо передать ровно один из аргументов: vocab_file или unigrams.

По умолчанию — []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Каждая допустимая строка в этом файле (формат которого должен быть похож на CSV) соответствует допустимому идентификатору слова.

Идентификаторы располагаются в последовательном порядке, начиная с num_reserved_ids. Последний элемент каждой строки должен содержать значение, соответствующее частоте или относительной вероятности. В эту операцию необходимо передать ровно один из аргументов: vocab_file или unigrams.

По умолчанию — ""

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/cc/struct/tensorflow/ops/fixed-unigram-candidate-sampler/attrs