tf.raw_ops.UnicodeDecodeWithOffsets

Декодирует каждую строку в input в последовательность кодовых точек Юникода.

tf.raw_ops.UnicodeDecodeWithOffsets(
    input, input_encoding, errors='replace', replacement_char=65533,
    replace_control_characters=False, Tsplits=tf.dtypes.int64, name=None
)

Кодовые точки символов для всех строк возвращаются с использованием одного вектора char_values, с расширением строк до символов в порядке следования строк. Аналогично, начальные байтовые смещения символов возвращаются с использованием одного вектора char_to_byte_starts, со строками, расширенными в порядке следования строк.

Тензор row_splits указывает, где начинаются и заканчиваются кодовые точки и начальные смещения для каждой входной строки в тензорах char_values и char_to_byte_starts. В частности, значения для i-й строки (в порядке следования строк) хранятся в срезе [row_splits[i]:row_splits[i+1]]. Таким образом:

• char_values[row_splits[i]+j] — это кодовая точка символа j-го символа в i-й строке (в порядке следования строк).
• char_to_bytes_starts[row_splits[i]+j] — это начальное байтовое смещение j-го символа в i-й строке (в порядке следования строк).
• row_splits[i+1] - row_splits[i] — это количество символов в i-й строке (в порядке следования строк).