tf.keras.preprocessing.text.Tokenizer

Утилитарный класс для токенизации текста.

tf.keras.preprocessing.text.Tokenizer(
    num_words=None,
    filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',
    lower=True,
    split=' ',
    char_level=False,
    oov_token=None,
    analyzer=None,
    **kwargs
)

Этот класс позволяет векторизовать текстовый корпус, преобразуя каждый текст либо в последовательность целых чисел (каждое целое число — индекс токена в словаре), либо в вектор, где коэффициент для каждого токена может быть двоичным, основанным на количестве слов, основанным на tf-idf и т. д.

По умолчанию удаляются все знаки препинания, преобразуя тексты в последовательности слов, разделенных пробелами (слова могут включать символ '). Затем эти последовательности разбиваются на списки токенов. Затем они будут индексированы или векторизованы.

0 — это зарезервированный индекс, который не будет назначен ни одному слову.

Методы

fit_on_sequences

Просмотреть исходный код

fit_on_sequences(
    sequences
)

Обновляет внутренний словарь на основе списка последовательностей.

Требуется перед использованием sequences_to_matrix (если fit_on_texts никогда не вызывался).

fit_on_texts

Просмотреть исходный код

fit_on_texts(
    texts
)

Обновляет внутренний словарь на основе списка текстов.

В случае, если texts содержит списки, мы предполагаем, что каждый элемент списков является токеном.

Требуется перед использованием texts_to_sequences или texts_to_matrix.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию токенизатора в виде словаря Python.

Словари частоты слов, используемые токенизатором, сериализуются в простой JSON, чтобы конфигурацию можно было прочитать в других проектах.

sequences_to_matrix

Просмотреть исходный код

sequences_to_matrix(
    sequences, mode='binary'
)

Преобразует список последовательностей в матрицу Numpy.

sequences_to_texts

Просмотреть исходный код

sequences_to_texts(
    sequences
)

Преобразует каждую последовательность в список текстов.

Будут учтены только самые часто встречающиеся num_words-1 слова. Будут учтены только слова, известные токенизатору.

sequences_to_texts_generator

Просмотреть исходный код

sequences_to_texts_generator(
    sequences
)

Преобразует каждую последовательность в sequences в список текстов (строк).

Каждая последовательность должна быть списком целых чисел. Другими словами, последовательности должны быть списком последовательностей.

Будут учтены только самые часто встречающиеся num_words-1 слова. Будут учтены только слова, известные токенизатору.

texts_to_matrix

Просмотреть исходный код

texts_to_matrix(
    texts, mode='binary'
)

Преобразует список текстов в матрицу Numpy.

texts_to_sequences

Просмотреть исходный код

texts_to_sequences(
    texts
)

Преобразует каждый текст в texts в последовательность целых чисел.

Будут учтены только самые часто встречающиеся num_words-1 слова. Будут учтены только слова, известные токенизатору.

texts_to_sequences_generator

Просмотреть исходный код

texts_to_sequences_generator(
    texts
)

Преобразует каждый текст в texts в последовательность целых чисел.

Каждый элемент в texts также может быть списком, в этом случае мы предполагаем, что каждый элемент этого списка — токен.

Будут учтены только самые часто встречающиеся num_words-1 слова. Будут учтены только слова, известные токенизатору.

to_json

Просмотреть исходный код

to_json(
    **kwargs
)

Возвращает строку JSON, содержащую конфигурацию токенизатора.

Чтобы загрузить токенизатор из строки JSON, используйте keras.preprocessing.text.tokenizer_from_json(json_string).