tf.strings.unicode_decode_with_offsets
| Просмотреть исходный код на GitHub |
Декодирует каждую строку в последовательность кодовых точек с начальными смещениями.
tf.strings.unicode_decode_with_offsets(
input, input_encoding, errors='replace', replacement_char=65533,
replace_control_characters=False, name=None
)
Этот оператор похож на tf.strings.decode(...), но он также возвращает начальное смещение для каждого символа в соответствующей строке. Эта информация может быть использована для совмещения символов с исходной последовательностью байтов.
Возвращает кортеж (codepoints, start_offsets) , где:
-
codepoints[i1...iN, j]— это кодовая точка Юникода дляj-го символа вinput[i1...iN], при декодировании с использованиемinput_encoding. -
start_offsets[i1...iN, j]— это начальное байтовое смещение дляj-го символа вinput[i1...iN], при декодировании с использованиемinput_encoding.
| Аргументы | |
|---|---|
input | Массив потенциально разрозненных тензоров с N размерностью и формой [D1...DN]. N должен быть статически известен. |
input_encoding | Имя строки для кодирования Юникода, которое должно использоваться для декодирования каждой строки. |
errors | Указывает ответ, когда строка-вход не может быть преобразована с использованием указанного кодирования. Один из:
|
replacement_char | Кодовая точка замены, которая должна использоваться вместо некорректных подстрок в input при errors='replace'; и вместо управляющих символов C0 в input при replace_control_characters=True. |
replace_control_characters | Нужно ли заменять управляющие символы C0 (U+0000 - U+001F) на replacement_char. |
name | Имя операции (необязательно). |
| Возвращает | |
|---|---|
Кортеж тензоров с N+1 размерностью (codepoints, start_offsets).
Возвращаемые тензоры — это |
Пример:
>>> input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
>>> result = tf.strings.unicode_decode_with_offsets(input, 'UTF-8')
>>> result[0].tolist() # codepoints
[[71, 246, 246, 100, 110, 105, 103, 104, 116], [128522]]
>>> result[1].tolist() # offsets
[[0, 1, 3, 5, 6, 7, 8, 9, 10], [0]]
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/strings/unicode_decode_with_offsets
