tf.strings.unicode_split

Разделяет каждую строку в input на последовательность кодовых точек Юникода.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.strings.unicode_split

tf.strings.unicode_split(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    name=None
)

Используется в блокнотах

Используется в руководстве	Используется в учебных пособиях
Введение в тензоры Строки Юникода	Генерация текста с помощью RNN

result[i1...iN, j] — это подстрока input[i1...iN], которая кодирует её j-й символ при декодировании с помощью input_encoding.

Аргументы
`input`	Многомерный, потенциально разрозненный `string` тензор с формой `[D1...DN]`. `N` должен быть статически известен.
`input_encoding`	Имя строки кодирования Юникода, которое должно использоваться для декодирования каждой строки.
`errors`	Указывает реакцию при невозможности преобразования входной строки с использованием указанного кодирования. Один из: `'strict'`: Вызвать исключение для любых недопустимых подстрок. `'replace'`: Заменить недопустимые подстроки на `replacement_char`. `'ignore'`: Пропустить недопустимые подстроки.
`replacement_char`	Кодовая точка замены, которая используется вместо недопустимых подстрок в `input`, когда `errors='replace'`.
`name`	Имя операции (необязательно).

Возвращает
Многомерный `int32` тензор с формой `[D1...DN, (num_chars)]`. Возвращаемый тензор является `tf.Tensor`, если `input` является скаляром, или `tf.RaggedTensor` в противном случае.

Пример:

input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
tf.strings.unicode_split(input, 'UTF-8').to_list()
[[b'G', b'\xc3\xb6', b'\xc3\xb6', b'd', b'n', b'i', b'g', b'h', b't'],
 [b'\xf0\x9f\x98\x8a']]

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/strings/unicode_split