tf.keras.preprocessing.text.Tokenizer

Класс-утилита для токенизации текста.

tf.keras.preprocessing.text.Tokenizer(
    num_words=None,
    filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',
    lower=True, split=' ', char_level=False, oov_token=None,
    document_count=0, **kwargs
)

Этот класс позволяет векторизовать текстовый корпус, преобразуя каждый текст либо в последовательность целых чисел (каждое целое число — индекс токена в словаре), либо в вектор, где коэффициент для каждого токена может быть бинарным, основанным на количестве слов, основанном на tf-idf...

По умолчанию удаляются все знаки пунктуации, превращая тексты в последовательности слов, разделённые пробелами (слова могут включать символ '). Затем эти последовательности разделяются на списки токенов. После чего они будут индексированы или векторизованы.

0 — это резервированный индекс, который не будет назначен ни одному слову.

Методы

fit_on_sequences

Просмотреть исходный код

fit_on_sequences(
    sequences
)

Обновляет внутренний словарь на основе списка последовательностей.

Требуется перед использованием sequences_to_matrix (если fit_on_texts никогда не вызывался).

fit_on_texts

Просмотреть исходный код

fit_on_texts(
    texts
)

Обновляет внутренний словарь на основе списка текстов.

В случае, если texts содержит списки, мы предполагаем, что каждый элемент списков является токеном.

Требуется перед использованием texts_to_sequences или texts_to_matrix.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию токенизатора в виде словаря Python. Словари подсчёта слов, используемые токенизатором, сериализуются в простой JSON, чтобы конфигурация могла быть прочитана другими проектами.

sequences_to_matrix

Просмотреть исходный код

sequences_to_matrix(
    sequences, mode='binary'
)

Преобразует список последовательностей в матрицу Numpy.

sequences_to_texts

Просмотреть исходный код

sequences_to_texts(
    sequences
)

Преобразует каждую последовательность в список текста.

Будут учтены только num_words-1 самых частых слов. Будут учтены только слова, известные токенизатору.

sequences_to_texts_generator

Просмотреть исходный код

sequences_to_texts_generator(
    sequences
)

Преобразует каждую последовательность в sequences в список текстов (строки).

Каждая последовательность должна быть списком целых чисел. Другими словами, последовательности должны быть списком последовательностей.

Будут учтены только num_words-1 самых частых слов. Будут учтены только слова, известные токенизатору.

texts_to_matrix

Просмотреть исходный код

texts_to_matrix(
    texts, mode='binary'
)

Преобразует список текстов в матрицу Numpy.

texts_to_sequences

Просмотреть исходный код

texts_to_sequences(
    texts
)

Преобразует каждый текст в texts в последовательность целых чисел.

Будут учтены только num_words-1 самых частых слов. Будут учтены только слова, известные токенизатору.

texts_to_sequences_generator

Просмотреть исходный код

texts_to_sequences_generator(
    texts
)

Преобразует каждый текст в texts в последовательность целых чисел.

Каждый элемент в texts также может быть списком, в этом случае мы предполагаем, что каждый элемент этого списка является токеном.

Будут учтены только num_words-1 самых частых слов. Будут учтены только слова, известные токенизатору.

to_json

Просмотреть исходный код

to_json(
    **kwargs
)

Возвращает строку JSON, содержащую конфигурацию токенизатора. Чтобы загрузить токенизатор из строки JSON, используйте keras.preprocessing.text.tokenizer_from_json(json_string).