tf.keras.preprocessing.text.one_hot

Преобразует текст в список индексов слов размером n.

tf.keras.preprocessing.text.one_hot(
    text, n, filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n', lower=True, split=' '
)

Это обёртка над функцией hashing_trick с использованием hash в качестве функции хэширования; уникальность отображения слова в индекс не гарантируется.

Аргументы

text: Input text (string).
n: int. Size of vocabulary.
filters: list (or concatenation) of characters to filter out, such as
    punctuation. Default: ``!"#$%&()*+,-./:;<=>?@[\]^_`{|}~\t\n``,
    includes basic punctuation, tabs, and newlines.
lower: boolean. Whether to set the text to lowercase.
split: str. Separator for word splitting.

Возвращаемое значение

List of integers in [1, n]. Each integer encodes a word
(unicity non-guaranteed).