tf.strings.unicode_split
| Просмотреть исходный код на GitHub |
Разделяет каждую строку в input на последовательность кодовых точек Юникода.
tf.strings.unicode_split(
input, input_encoding, errors='replace', replacement_char=65533, name=None
)
result[i1...iN, j] — это подстрока input[i1...iN], которая кодирует её j-й символ при декодировании с помощью input_encoding.
| Аргументы | |
|---|---|
input | Многомерный потенциально разряженный тензор string со структурой [D1...DN]. N должно быть статически известно. |
input_encoding | Имя строки для кодировки Юникода, которая должна использоваться для декодирования каждой строки. |
errors | Определяет ответ, когда строка входных данных не может быть преобразована с помощью указанной кодировки. Один из:
|
replacement_char | Кодовая точка замены, которая будет использоваться вместо некорректных подстрок в input при errors='replace'. |
name | Название операции (необязательно). |
| Возвращает | |
|---|---|
Многомерный тензор int32 со структурой [D1...DN, (num_chars)]. Возвращаемый тензор — tf.Tensor, если input является скаляром, или tf.RaggedTensor в противном случае. |
Пример:
input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
tf.strings.unicode_split(input, 'UTF-8').to_list()
[[b'G', b'\xc3\xb6', b'\xc3\xb6', b'd', b'n', b'i', b'g', b'h', b't'],
[b'\xf0\x9f\x98\x8a']]
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/strings/unicode_split
