tf.strings.unicode_split_with_offsets

Разделяет каждую строку на последовательность кодовых точек с начальными смещениями.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.strings.unicode_split_with_offsets, `tf.compat.v2.strings.unicode_split_with_offsets`

tf.strings.unicode_split_with_offsets(
    input, input_encoding, errors='replace', replacement_char=65533, name=None
)

Этот оператор аналогичен tf.strings.decode(...), но он также возвращает начальное смещение для каждого символа в соответствующей строке. Эта информация может быть использована для выравнивания символов с исходной последовательностью байтов.

Возвращает кортеж (chars, start_offsets) , где:

chars[i1...iN, j] — это подстрока input[i1...iN], которая кодирует j-й символ, при декодировании с использованием input_encoding.
start_offsets[i1...iN, j] — это начальное байтовое смещение для j-го символа в input[i1...iN], при декодировании с использованием input_encoding.

Аргументы
`input`	Многомерный потенциально разрозненный тензор `N` с формой `[D1...DN]`. `N` должно быть статически известно.
`input_encoding`	Имя строки для кодирования Unicode, которое должно использоваться для декодирования каждой строки.
`errors`	Определяет реакцию, когда строка входных данных не может быть преобразована с использованием указанного кодирования. Один из вариантов: `'strict'`: Вызвать исключение для всех неверных подстрок. `'replace'`: Заменить неверные подстроки на `replacement_char`. `'ignore'`: Пропустить неверные подстроки.
`replacement_char`	Кодовая точка замены, которая будет использоваться вместо недопустимых подстрок в `input` при `errors='replace'`.
`name`	Имя операции (необязательно).

Возвращаемое значение

Возвращаемое значение
Кортеж `N+1`-мерных тензоров `(codepoints, start_offsets)`. `codepoints` — тензор `int32` с формой `[D1...DN, (num_chars)]`. `offsets` — тензор `int64` с формой `[D1...DN, (num_chars)]`. Возвращаемые тензоры являются `tf.Tensor`, если `input` является скаляром, или `tf.RaggedTensor` в противном случае.

Кортеж N+1-мерных тензоров (codepoints, start_offsets).

codepoints — тензор int32 с формой [D1...DN, (num_chars)].
offsets — тензор int64 с формой [D1...DN, (num_chars)].

Возвращаемые тензоры являются tf.Tensor, если input является скаляром, или tf.RaggedTensor в противном случае.

Пример:

 >>> input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
 >>> result = tf.strings.unicode_split_with_offsets(input, 'UTF-8')
 >>> result[0].tolist()  # character substrings
 [['G', '\xc3\xb6', '\xc3\xb6', 'd', 'n', 'i', 'g', 'h', 't'],
  ['\xf0\x9f\x98\x8a']]
 >>> result[1].tolist()  # offsets
[[0, 1, 3, 5, 6, 7, 8, 9, 10], [0]]

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/strings/unicode_split_with_offsets