tf.strings.unicode_split

Разделяет каждую строку в input на последовательность кодов Unicode.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.strings.unicode_split

tf.strings.unicode_split(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    name=None
)

result[i1...iN, j] — это подстрока input[i1...iN], которая кодирует её j-й символ при декодировании с использованием input_encoding.

Аргументы
`input`	Многомерный потенциально разрозненный тензор `string` с формой `[D1...DN]`. `N` должна быть статически известна.
`input_encoding`	Имя строки для кодирования Unicode, которое должно использоваться для декодирования каждой строки.
`errors`	Определяет реакцию, когда строку входных данных нельзя преобразовать с использованием указанного кодирования. Один из: `'strict'`: Вызвать исключение для любых неверных подстрок. `'replace'`: Заменить неверные подстроки на `replacement_char`. `'ignore'`: Пропустить неверные подстроки.
`replacement_char`	Код замены, который должен использоваться вместо неверных подстрок в `input` при `errors='replace'`.
`name`	Имя операции (необязательно).

Возвращаемое значение
Многомерный тензор `int32` с формой `[D1...DN, (num_chars)]`. Возвращаемый тензор — `tf.Tensor`, если `input` является скаляром, или `tf.RaggedTensor` в противном случае.

Пример:

input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
tf.strings.unicode_split(input, 'UTF-8').to_list()
[[b'G', b'\xc3\xb6', b'\xc3\xb6', b'd', b'n', b'i', b'g', b'h', b't'],
 [b'\xf0\x9f\x98\x8a']]

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/strings/unicode_split