tf.raw_ops.UnicodeDecodeWithOffsets

Декодирует каждую строку в input в последовательность кодовых точек Unicode.

Просмотреть псевдонимы

Псевдонимы для совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.raw_ops.UnicodeDecodeWithOffsets

tf.raw_ops.UnicodeDecodeWithOffsets(
    input,
    input_encoding,
    errors='replace',
    replacement_char=65533,
    replace_control_characters=False,
    Tsplits=tf.dtypes.int64,
    name=None
)

Кодовые точки символов для всех строк возвращаются в одном векторе char_values, при этом строки разворачиваются в символы в порядке строк. Аналогичным образом начальные смещения байтов символов возвращаются в одном векторе char_to_byte_starts, при этом строки разворачиваются в порядке строк.

Тензор row_splits указывает, где начинаются и заканчиваются кодовые точки и начальные смещения для каждой входной строки в тензорах char_values и char_to_byte_starts. В частности, значения для строки i (в порядке строк) хранятся в срезе [row_splits[i]:row_splits[i+1]]. Таким образом:

char_values[row_splits[i]+j] — это кодовая точка Unicode для символа j в строке i (в порядке строк).
char_to_bytes_starts[row_splits[i]+j] — это начальное смещение байта для символа j в строке i (в порядке строк).
row_splits[i+1] - row_splits[i] — это количество символов в строке i (в порядке строк).

Аргументы
`input`	`Tensor` типа `string`. Текст для декодирования. Может иметь любую форму. Обратите внимание, что выходные данные преобразуются в вектор значений символов.
`input_encoding`	`string`. Кодировка текста входных строк. Это одна из кодировок, поддерживаемых алгоритмическими преобразователями ICU ucnv. Примеры: `"UTF-16", "US ASCII", "UTF-8"`.
`errors`	Необязательный `string` из: `"strict", "replace", "ignore"`. По умолчанию — `"replace"`. Политика обработки ошибок при обнаружении в входных данных некорректного форматирования. Значение 'strict' приведет к тому, что операция выдаст ошибку InvalidArgument при любом некорректном форматировании входных данных. Значение 'replace' (по умолчанию) приведет к замене любого некорректного форматирования во входных данных кодовой точкой `replacement_char`. Значение 'ignore' приведет к пропуску любого некорректного форматирования во входных данных без создания соответствующего выходного символа.
`replacement_char`	Необязательный `int`. По умолчанию — `65533`. Кодовая точка символа замены, используемая вместо некорректного форматирования во входных данных при `errors='replace'`. Можно использовать любую допустимую кодовую точку Unicode. Значение по умолчанию — стандартный символ замены Unicode 0xFFFD или U+65533.)
`replace_control_characters`	Необязательный `bool`. По умолчанию — `False`. Заменять ли управляющие символы C0 (00–1F) на `replacement_char`. По умолчанию — false.
`Tsplits`	Необязательный `tf.DType` из: `tf.int32, tf.int64`. По умолчанию — `tf.int64`.
`name`	Имя операции (необязательно).

Возвращает
Кортеж из объектов `Tensor` (row_splits, char_values, char_to_byte_starts).
`row_splits`	`Tensor` типа `Tsplits`.
`char_values`	`Tensor` типа `int32`.
`char_to_byte_starts`	`Tensor` типа `int64`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/UnicodeDecodeWithOffsets