tf.strings.unicode_split

Разбивает каждую строку в input на последовательность кодовых точек Unicode.

Просмотреть псевдонимы

Псевдонимы совместимости для переноса

Подробнее см. в руководстве по переносу.

tf.compat.v1.strings.unicode_split

tf.strings.unicode_split(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    name=None
)

Используется в блокнотах

Используется в руководстве	Используется в учебных материалах
Введение в тензоры Строки Unicode	Генерация текста с помощью RNN

result[i1...iN, j] — это подстрока input[i1...iN], которая кодирует символ с индексом j при декодировании с помощью input_encoding.

Аргументы
`input`	Потенциально сегментированный тензор `string` размерности `N` с формой `[D1...DN]`. Значение `N` должно быть известно на этапе статического анализа.
`input_encoding`	Строковое имя кодировки Unicode, используемой для декодирования каждой строки.
`errors`	Определяет реакцию на входную строку, которую не удается преобразовать с помощью указанной кодировки. Возможные значения: `'strict'`: вызвать исключение для любых недопустимых подстрок. `'replace'`: заменить недопустимые подстроки на `replacement_char`. `'ignore'`: пропустить недопустимые подстроки.
`replacement_char`	Кодовая точка для замены недопустимых подстрок в `input` при `errors='replace'`.
`name`	Имя операции (необязательный параметр).

Возвращает
Тензор `int32` размерности `N+1` с формой `[D1...DN, (num_chars)]`. Возвращаемый тензор является `tf.Tensor`, если `input` — скаляр, и `tf.RaggedTensor` в противном случае.

Пример:

input = [s.encode('utf8') for s in (u'G\xf6\xf6dnight', u'\U0001f60a')]
tf.strings.unicode_split(input, 'UTF-8').to_list()
[[b'G', b'\xc3\xb6', b'\xc3\xb6', b'd', b'n', b'i', b'g', b'h', b't'],
 [b'\xf0\x9f\x98\x8a']]

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/strings/unicode_split