Spec-Zone.ru › TensorFlow

tf.keras.preprocessing.text.Tokenizer

УСТАРЕВШАЯ функция.

tf.keras.preprocessing.text.Tokenizer(
    num_words=None,
    filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',
    lower=True,
    split=' ',
    char_level=False,
    oov_token=None,
    analyzer=None,
    **kwargs
)

Используется в ноутбуках

Используется в учебных пособиях
  • Прогнозирование токсичности комментариев на Вики-форумах

Методы

fit_on_sequences

Просмотреть исходный код

fit_on_sequences(
    sequences
)

fit_on_texts

Просмотреть исходный код

fit_on_texts(
    texts
)

get_config

Просмотреть исходный код

get_config()

sequences_to_matrix

Просмотреть исходный код

sequences_to_matrix(
    sequences, mode='binary'
)

sequences_to_texts

Просмотреть исходный код

sequences_to_texts(
    sequences
)

sequences_to_texts_generator

Просмотреть исходный код

sequences_to_texts_generator(
    sequences
)

texts_to_matrix

Просмотреть исходный код

texts_to_matrix(
    texts, mode='binary'
)

texts_to_sequences

Просмотреть исходный код

texts_to_sequences(
    texts
)

texts_to_sequences_generator

Просмотреть исходный код

texts_to_sequences_generator(
    texts
)

to_json

Просмотреть исходный код

to_json(
    **kwargs
)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/text/Tokenizer

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API