tf.keras.preprocessing.sequence.skipgrams

Генерирует пары слов skipgram.

tf.keras.preprocessing.sequence.skipgrams(
    sequence,
    vocabulary_size,
    window_size=4,
    negative_samples=1.0,
    shuffle=True,
    categorical=False,
    sampling_table=None,
    seed=None
)

Используется в ноутбуках

Используется в учебных пособиях
word2vec

УСТАРЕВШАЯ функция.

Эта функция преобразует последовательность индексов слов (список целых чисел) в пары слов вида:

(слово, слово в том же окне), с меткой 1 (положительные примеры).
(слово, случайное слово из словаря), с меткой 0 (отрицательные примеры).

Подробнее о Skipgram в этой статье Миколова и др.: Efficient Estimation of Word Representations in Vector Space

Аргументы
`sequence`	Последовательность слов (предложение), закодированная как список индексов слов (целые числа). При использовании `sampling_table`, индексы слов должны соответствовать рангу слов в эталонном наборе данных (например, 10 будет кодировать 10-е по частоте слово). Обратите внимание, что индекс 0 предполагается как несущественное слово и будет пропущен.
`vocabulary_size`	Целое число, максимальный возможный индекс слова + 1
`window_size`	Целое число, размер окон выборки (технически половина окна). Окно слова `w_i` будет `[i - window_size, i + window_size+1]`.
`negative_samples`	Число с плавающей точкой >= 0. 0 для отсутствия отрицательных (т. е. случайных) выборок. 1 для количества, равного количеству положительных выборок.
`shuffle`	Нужно ли перемешивать пары слов перед возвратом.
`categorical`	bool. Если False, метки будут целыми числами (например, `[0, 1, 1 .. ]`), если `True`, метки будут категориальными, например, `[[1,0],[0,1],[0,1] .. ]`.
`sampling_table`	Одномерный массив размера `vocabulary_size`, где элемент i кодирует вероятность выборки слова с рангом i.
`seed`	Семена случайных чисел.

Возвращаемое значение
пары, метки: где `couples` — целые пары, а `labels` — либо 0, либо 1.

Примечание
По соглашению, индекс 0 в словаре — это несущественное слово и будет пропущен.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/sequence/skipgrams