tf.raw_ops.UnicodeDecode

Декодирует каждую строку в input в последовательность кодовых точек Юникода.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.raw_ops.UnicodeDecode

tf.raw_ops.UnicodeDecode(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    replace_control_characters=False,
    Tsplits=tf.dtypes.int64,
    name=None
)

Кодовые точки символов для всех строк возвращаются с помощью одного вектора char_values, при этом строки расширяются до символов в порядке «строка-столбец».

Тензор row_splits указывает, где начинаются и заканчиваются кодовые точки для каждой входной строки в тензоре char_values. В частности, значения для i-й строки (в порядке «строка-столбец») хранятся в срезе [row_splits[i]:row_splits[i+1]]. Таким образом:

char_values[row_splits[i]+j] — это кодовая точка Юникода для j-го символа в i-й строке (в порядке «строка-столбец»).
row_splits[i+1] - row_splits[i] — это количество символов в i-й строке (в порядке «строка-столбец»).

Аргументы
`input`	Массив типа `string`. Текст для декодирования. Может иметь любую форму. Обратите внимание, что вывод выравнивается в вектор значений символов.
`input_encoding`	Строка. Кодировка текста входных строк. Это любая из кодировок, поддерживаемых алгоритмическими преобразователями ICU ucnv. Примеры: `"UTF-16", "US ASCII", "UTF-8"`.
`errors`	Необязательный параметр из: `"strict", "replace", "ignore"`. По умолчанию `"replace"`. Политика обработки ошибок при обнаружении некорректного форматирования ввода. Значение 'strict' приведет к тому, что операция генерирует ошибку InvalidArgument при любом некорректном форматировании ввода. Значение 'replace' (по умолчанию) приведет к тому, что операция заменит любое некорректное форматирование ввода на `replacement_char` кодовую точку. Значение 'ignore' приведет к тому, что операция пропустит любое некорректное форматирование ввода и не создаст соответствующего выходного символа.
`replacement_char`	Необязательный параметр. По умолчанию `65533`. Кодовая точка символа замены, которая будет использоваться вместо любого некорректного форматирования ввода, когда `errors='replace'`. Может использоваться любая допустимая кодовая точка Юникода. Значение по умолчанию — стандартный символ замены Юникода 0xFFFD или U+65533.
`replace_control_characters`	Необязательный параметр. По умолчанию `False`. Заменить ли управляющие символы C0 (00-1F) на `replacement_char`. По умолчанию false.
`Tsplits`	Необязательный `tf.DType` из: `tf.int32, tf.int64`. По умолчанию `tf.int64`.
`name`	Имя операции (необязательно).

Возвращаемое значение
Кортеж объектов `Tensor` (row_splits, char_values).
`row_splits`	Массив типа `Tsplits`.
`char_values`	Массив типа `int32`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/UnicodeDecode