tf.keras.preprocessing.sequence.skipgrams
| Просмотреть исходный код на GitHub |
Генерирует пары слов skipgram.
tf.keras.preprocessing.sequence.skipgrams(
sequence, vocabulary_size, window_size=4, negative_samples=1.0, shuffle=True,
categorical=False, sampling_table=None, seed=None
)
Эта функция преобразует последовательность индексов слов (список целых чисел) в кортежи слов следующего вида:
- (слово, слово в том же окне), со значением метки 1 (положительные примеры).
- (слово, случайное слово из словаря), со значением метки 0 (отрицательные примеры).
Узнайте больше о Skipgram в этой статье Миколова и др.: Эффективная оценка представлений слов в векторном пространстве
| Аргументы | |
|---|---|
sequence | Последовательность слов (предложение), закодированная как список индексов слов (целых чисел). Если используется sampling_table, индексы слов должны соответствовать рангу слов в эталонном наборе данных (например, 10 кодирует 10-е по частоте слово). Обратите внимание, что индекс 0 должен соответствовать не слову и будет пропущен. |
vocabulary_size | Целое число, максимальный возможный индекс слова + 1 |
window_size | Целое число, размер окна выборки (по сути, половина окна). Окно слова w_i будет [i - window_size, i + window_size+1]. |
negative_samples | Вещественное число ≥ 0. 0 для отсутствия отрицательных (случайных) выборок. 1 для такого же количества, как положительные примеры. |
shuffle | Нужно ли перемешивать пары слов перед возвратом. |
categorical | bool. Если False, метки будут целыми числами (например, [0, 1, 1 .. ]), если True, метки будут категориальными, например [[1,0],[0,1],[0,1] .. ]. |
sampling_table | Одномерный массив размера vocabulary_size, где элемент i кодирует вероятность выбора слова с рангом i. |
seed | Зерно случайного числа. |
| Возвращает | |
|---|---|
пары, метки: где couples представляют собой целочисленные пары, а labels — либо 0, либо 1. |
Примечание:
По соглашению, индекс 0 в словаре — это не слово, и он будет пропущен.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/keras/preprocessing/sequence/skipgrams
