tf.keras.preprocessing.text.text_to_word_sequence

Преобразует текст в последовательность слов (или токенов).

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.keras.preprocessing.text.text_to_word_sequence

tf.keras.preprocessing.text.text_to_word_sequence(
    input_text,
    filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',
    lower=True,
    split=' '
)

Эта функция преобразует строку текста в список слов, игнорируя filters, которые по умолчанию включают знаки препинания.

sample_text = 'This is a sample sentence.'
tf.keras.preprocessing.text.text_to_word_sequence(sample_text)
['this', 'is', 'a', 'sample', 'sentence']

Аргументы
`input_text`	Текст-вход (строка).
`filters`	список (или конкатенация) символов для фильтрации, например знаков препинания. По умолчанию: '!"#$%&()*+,-./:;<=>?@[\\]^_`{\|}~\\t\\n', включает базовые знаки препинания, табуляцию и новые строки.
`lower`	булево значение. Преобразовывать ли вход в нижний регистр.
`split`	строка. Разделитель для разделения слов.

Возвращаемое значение
Список слов (или токенов).

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/preprocessing/text/text_to_word_sequence