tf.keras.preprocessing.sequence.skipgrams

Генерирует пары слов skipgram.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.keras.preprocessing.sequence.skipgrams

tf.keras.preprocessing.sequence.skipgrams(
    sequence,
    vocabulary_size,
    window_size=4,
    negative_samples=1.0,
    shuffle=True,
    categorical=False,
    sampling_table=None,
    seed=None
)

Эта функция преобразует последовательность индексов слов (список целых чисел) в кортежи слов следующего вида:

(слово, слово в том же окне), со значением метки 1 (положительные примеры).
(слово, случайное слово из словаря), со значением метки 0 (отрицательные примеры).

Дополнительную информацию о Skipgram см. в этой работе Миколова и др.: Эффективная оценка представлений слов в векторном пространстве

Аргументы
`sequence`	Последовательность слов (предложение), закодированная как список индексов слов (целые числа). При использовании `sampling_table`, ожидается, что индексы слов будут соответствовать рангу слов в эталонном наборе данных (например, 10 будет кодировать 10-е по частоте слово). Обратите внимание, что индекс 0 соответствует не слову и будет пропущен.
`vocabulary_size`	Целое число, максимальный возможный индекс слова + 1
`window_size`	Целое число, размер окон выборки (технически половина окна). Окно слова `w_i` будет `[i - window_size, i + window_size+1]`.
`negative_samples`	Вещественное число ≥ 0. 0 для отсутствия отрицательных (т.е. случайных) выборок. 1 для такого же количества, как положительных выборок.
`shuffle`	Нужно ли перемешивать пары слов перед возвращением?
`categorical`	логическое значение. Если False, метки будут целыми числами (например, `[0, 1, 1 .. ]`), если `True`, метки будут категориальными, например `[[1,0],[0,1],[0,1] .. ]`.
`sampling_table`	Одномерный массив размера `vocabulary_size`, где элемент i кодирует вероятность выбора слова ранга i.
`seed`	Семена случайных чисел.

Возвращает
пары, метки: где `couples` являются парами целых чисел, а `labels` — либо 0, либо 1.

Примечание:

По соглашению, индекс 0 в словаре — это не слово и будет пропущен.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/preprocessing/sequence/skipgrams