tf.keras.preprocessing.sequence.skipgrams

Создаёт пары слов для Skip-gram.

tf.keras.preprocessing.sequence.skipgrams(
    sequence,
    vocabulary_size,
    window_size=4,
    negative_samples=1.0,
    shuffle=True,
    categorical=False,
    sampling_table=None,
    seed=None
)

Используется в блокнотах

Используется в руководствах
word2vec

УСТАРЕЛО.

Эта функция преобразует последовательность индексов слов (список целых чисел) в кортежи слов следующего вида:

(слово, слово в том же окне) с меткой 1 (положительные примеры).
(слово, случайное слово из словаря) с меткой 0 (отрицательные примеры).

Подробнее о Skip-gram читайте в этой замечательной статье Миколова и соавторов: Эффективная оценка представлений слов в векторном пространстве

Аргументы
`sequence`	Последовательность слов (предложение), закодированная в виде списка индексов слов (целых чисел). При использовании `sampling_table` ожидается, что индексы слов соответствуют их рангам в эталонном наборе данных (например, 10 обозначает 10-й по частоте токен). Обратите внимание, что индекс 0 считается несловом и будет пропущен.
`vocabulary_size`	Int, максимальный возможный индекс слова + 1
`window_size`	Int, размер окна выборки (технически — половина окна). Окно слова `w_i` будет `[i - window_size, i + window_size+1]`.
`negative_samples`	Float >= 0. 0 — без отрицательных (т. е. случайных) примеров. 1 — столько же, сколько положительных примеров.
`shuffle`	Нужно ли перемешивать пары слов перед их возвратом.
`categorical`	bool. Если False, метки будут целыми числами (например, `[0, 1, 1 .. ]`), если `True` — категориальными, например `[[1,0],[0,1],[0,1] .. ]`.
`sampling_table`	Одномерный массив размера `vocabulary_size`, в котором элемент i задаёт вероятность выборки слова с рангом i.
`seed`	Начальное значение генератора случайных чисел.

Возвращает
пары, метки: где `couples` — пары целых чисел, а `labels` — 0 или 1.

Примечание
По соглашению, индекс 0 в словаре считается несловом и пропускается.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/sequence/skipgrams