tf.keras.preprocessing.text.one_hot
| Просмотреть исходный код на GitHub |
Преобразует текст в список индексов слов размером n.
tf.keras.preprocessing.text.one_hot(
input_text, n, filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n', lower=True,
split=' '
)
Эта функция получает на вход строку текста и возвращает список закодированных целых чисел, каждый из которых соответствует слову (или токену) в заданной входной строке.
| Аргументы | |
|---|---|
input_text | Текст на вход (строка). |
n | int. Размер словаря. |
filters | список (или конкатенация) символов для фильтрации, таких как знаки препинания. По умолчанию: !"#$%&()*+,-./:;<=>?@[\]^_`{|}~\t\n, включает в себя основные знаки препинания, табуляции и символы новой строки. |
lower | boolean. Нужно ли привести текст к нижнему регистру. |
split | str. Разделитель для разделения слов. |
| Возвращаемое значение | |
|---|---|
Список целых чисел в [1, n]. Каждое целое число кодирует слово (уникальность не гарантируется). |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/keras/preprocessing/text/one_hot