tf.string_split

Разделение элементов source по delimiter. (устаревшие аргументы)

tf.string_split(
    source, sep=None, skip_empty=True, delimiter=None, result_type='SparseTensor',
    name=None
)

Пусть N — размер source (обычно N будет размером пакета). Разделите каждый элемент source по delimiter и верните SparseTensor или RaggedTensor, содержащие разделительные токены. Пустые токены игнорируются.

Если sep является пустой строкой, каждый элемент source разделяется на отдельные строки, каждая из которых содержит один байт. (Это включает разделение многобайтовых последовательностей UTF-8). Если разделитель содержит несколько байтов, он обрабатывается как набор разделителей, каждый из которых рассматривается как потенциальная точка разбиения.

Примеры:

tf.strings.split(['hello world', 'a b c'])
tf.SparseTensor(indices=[[0, 0], [0, 1], [1, 0], [1, 1], [1, 2]],
                values=['hello', 'world', 'a', 'b', 'c']
                dense_shape=[2, 3])

tf.strings.split(['hello world', 'a b c'], result_type="RaggedTensor")