tf.keras.preprocessing.sequence.make_sampling_table

Создает вероятностную таблицу выборки на основе ранга слов.

tf.keras.preprocessing.sequence.make_sampling_table(
    size, sampling_factor=1e-05
)

Используется в блокнотах

Используется в руководствах
word2vec

УСТАРЕЛО.

Используется для генерации аргумента sampling_table для skipgrams. sampling_table[i] — это вероятность выборки слова, занимающего i-е место по частоте в наборе данных (более частые слова следует выбирать реже для баланса).

Вероятности выборки генерируются в соответствии с распределением выборки, используемым в word2vec:

p(word) = (min(1, sqrt(word_frequency / sampling_factor) /
    (word_frequency / sampling_factor)))

Предполагается, что частоты слов подчиняются закону Ципфа (s=1); на его основе выводится численное приближение функции частоты(rank):

frequency(rank) ~ 1/(rank * (log(rank) + gamma) + 1/2 - 1/(12*rank)) где gamma — постоянная Эйлера — Маскерони.

Аргументы
`size`	Целое число: количество слов, доступных для выборки.
`sampling_factor`	Коэффициент выборки в формуле word2vec.

Возвращает
Одномерный массив NumPy длиной `size`, где i-й элемент — это вероятность выборки слова с рангом i.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/sequence/make_sampling_table