tf.raw_ops.UnicodeDecodeWithOffsets

Декодирует каждую строку в input в последовательность кодов Юникода.

tf.raw_ops.UnicodeDecodeWithOffsets(
    input, input_encoding, errors='replace', replacement_char=65533,
    replace_control_characters=False, Tsplits=tf.dtypes.int64, name=None
)

Код символов для всех строк возвращается с помощью одного вектора char_values, где строки расширяются до символов в порядке следования строк. Аналогично, смещения начальных байтов символов возвращаются с помощью одного вектора char_to_byte_starts, где строки расширяются в порядке следования строк.

Тензор row_splits указывает, где начинаются и заканчиваются коды символов и начальные смещения для каждой входной строки в тензорах char_values и char_to_byte_starts. В частности, значения для i-й строки (в порядке следования строк) хранятся в срезе [row_splits[i]:row_splits[i+1]]. Таким образом:

• char_values[row_splits[i]+j] — это код Юникода для j-го символа в i-й строке (в порядке следования строк).
• char_to_bytes_starts[row_splits[i]+j] — это начальное смещение байта для j-го символа в i-й строке (в порядке следования строк).
• row_splits[i+1] - row_splits[i] — это количество символов в i-й строке (в порядке следования строк).