Модуль: tf.compat.v1.keras.preprocessing.text

Утилиты для предобработки текстового ввода.

Классы

class Tokenizer: Утилита для токенизации текста.

Функции

hashing_trick(...): Преобразует текст в последовательность индексов в хеш-пространстве фиксированного размера.

one_hot(...): Преобразует текст в one-hot представление в виде списка индексов слов размером n.

text_to_word_sequence(...): Преобразует текст в последовательность слов (или токенов).

tokenizer_from_json(...): Парсит файл конфигурации токенизатора в формате JSON и возвращает