tf.strings.unicode_decode
Декодирует каждую строку в input в последовательность кодовых точек Юникода.
tf.strings.unicode_decode(
input,
input_encoding,
errors='replace',
replacement_char=65533,
replace_control_characters=False,
name=None
)
Используется в ноутбуках
| Используется в руководстве |
|---|
result[i1...iN, j] — это кодовая точка Юникода для j-го символа в input[i1...iN], при декодировании с использованием input_encoding.
| Аргументы | |
|---|---|
input | Многомерный потенциально разрозненный тензор string со значением формы [D1...DN]. N должно быть известно статически. |
input_encoding | Имя строки кодировки Юникода, которая должна использоваться для декодирования каждой строки. |
errors | Указывает ответ, когда строку-вход не удается преобразовать, используя указанную кодировку. Один из:
|
replacement_char | Кодовая точка-замена, которая используется вместо недопустимых подстрок в input, когда errors='replace'; и вместо управляющих символов C0 в input, когда replace_control_characters=True. |
replace_control_characters | Необходимо ли заменить управляющие символы C0 (U+0000 - U+001F) на replacement_char. |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
Многомерный тензор int32 со значением формы [D1...DN, (num_chars)]. Возвращаемый тензор — это tf.Tensor, если input является скалярным, или tf.RaggedTensor в противном случае. |
Пример:
input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
tf.strings.unicode_decode(input, 'UTF-8').to_list()
[[71, 246, 246, 100, 110, 105, 103, 104, 116], [128522]]
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/strings/unicode_decode
