tf.strings.unicode_decode_with_offsets

Декодирует каждую строку в последовательность кодовых точек с начальными смещениями.

Просмотреть псевдонимы

Псевдонимы для обеспечения совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.strings.unicode_decode_with_offsets

tf.strings.unicode_decode_with_offsets(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    replace_control_characters=False,
    name=None
)

Используется в блокнотах

Используется в руководстве
Строки Unicode

Эта операция похожа на tf.strings.decode(...), но также возвращает начальное смещение каждого символа в соответствующей строке. Эти сведения можно использовать для сопоставления символов с исходной последовательностью байтов.

Возвращает кортеж (codepoints, start_offsets), где:

codepoints[i1...iN, j] — кодовая точка Unicode для j-го символа в input[i1...iN] при декодировании с помощью input_encoding.
start_offsets[i1...iN, j] — начальное смещение в байтах для j-го символа в input[i1...iN] при декодировании с помощью input_encoding.

Аргументы
`input`	Потенциально разреженный тензор `string` размерности `N` и формы `[D1...DN]`. `N` должно быть известно статически.
`input_encoding`	Имя кодировки Unicode в виде строки, которая будет использоваться для декодирования каждой строки.
`errors`	Задает поведение в случае, если входную строку невозможно преобразовать с помощью указанной кодировки. Возможные значения: `'strict'`: вызывать исключение для любых недопустимых подстрок. `'replace'`: заменять недопустимые подстроки на `replacement_char`. `'ignore'`: пропускать недопустимые подстроки.
`replacement_char`	Кодовая точка-замена, используемая вместо недопустимых подстрок в `input` при `errors='replace'`, а также вместо управляющих символов C0 в `input` при `replace_control_characters=True`.
`replace_control_characters`	Заменять ли управляющие символы C0 `(U+0000 - U+001F)` на `replacement_char`.
`name`	Имя операции (необязательно).

Возвращает

Возвращает
Кортеж тензоров размерности `N+1` `(codepoints, start_offsets)`. `codepoints` — тензор `int32` формы `[D1...DN, (num_chars)]`. `offsets` — тензор `int64` формы `[D1...DN, (num_chars)]`. Возвращаемые тензоры являются `tf.Tensor`, если `input` — скаляр, и `tf.RaggedTensor` в противном случае.

Кортеж тензоров размерности N+1 (codepoints, start_offsets).

codepoints — тензор int32 формы [D1...DN, (num_chars)].
offsets — тензор int64 формы [D1...DN, (num_chars)].

Возвращаемые тензоры являются tf.Tensor, если input — скаляр, и tf.RaggedTensor в противном случае.

Пример:

input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
result = tf.strings.unicode_decode_with_offsets(input, 'UTF-8')
result[0].to_list()  # codepoints
[[71, 246, 246, 100, 110, 105, 103, 104, 116], [128522]]
result[1].to_list()  # offsets
[[0, 1, 3, 5, 6, 7, 8, 9, 10], [0]]

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/strings/unicode_decode_with_offsets