tf.strings.unicode_split

Разделяет каждую строку в input на последовательность кодовых точек Юникода.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.strings.unicode_split, `tf.compat.v2.strings.unicode_split`

tf.strings.unicode_split(
    input, input_encoding, errors='replace', replacement_char=65533, name=None
)

result[i1...iN, j] — это подстрока input[i1...iN], которая кодирует её j-й символ при декодировании с помощью input_encoding.

Аргументы
`input`	Многомерный потенциально разрозненный тензор `string` с формой `[D1...DN]`. `N` должна быть статически известна.
`input_encoding`	Имя строки для кодирования Юникода, которое должно быть использовано для декодирования каждой строки.
`errors`	Указывает ответ, когда строка-вход не может быть преобразована с помощью указанного кодирования. Один из: `'strict'`: Выбросить исключение для любых недопустимых подстрок. `'replace'`: Заменить недопустимые подстроки на `replacement_char`. `'ignore'`: Пропустить недопустимые подстроки.
`replacement_char`	Кодовая точка замены, которая используется вместо недопустимых подстрок в `input` при `errors='replace'`.
`name`	Имя операции (необязательно).

Возвращаемые значения
Многомерный тензор `int32` с формой `[D1...DN, (num_chars)]`. Возвращаемый тензор является `tf.Tensor`, если `input` является скаляром, или `tf.RaggedTensor` в противном случае.

Пример:

>>> input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
>>> tf.strings.unicode_split(input, 'UTF-8').tolist()
[['G', '\xc3\xb6', '\xc3\xb6', 'd', 'n', 'i', 'g', 'h', 't'],
 ['\xf0\x9f\x98\x8a']]

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/strings/unicode_split