tf.strings.split

Разделение элементов input по sep.

tf.strings.split(
    input=None, sep=None, maxsplit=-1, result_type='SparseTensor', source=None,
    name=None
)

Пусть N — размер input (обычно N — это размер пакетной обработки). Разделите каждый элемент input по sep и верните SparseTensor или RaggedTensor, содержащие разделенные токены. Пустые токены игнорируются.

Примеры:

tf.strings.split(['hello world', 'a b c'])
tf.SparseTensor(indices=[[0, 0], [0, 1], [1, 0], [1, 1], [1, 2]],
                values=['hello', 'world', 'a', 'b', 'c']
                dense_shape=[2, 3])

tf.strings.split(['hello world', 'a b c'], result_type="RaggedTensor")

Если sep задан, последовательные разделители не группируются и считаются разделителями пустых строк. Например, input от "1<>2<><>3" и sep от "<>" возвращает ["1", "2", "", "3"]. Если sep равен None или пустой строке, последовательные пробелы рассматриваются как один разделитель, а результат не будет содержать пустых строк в начале или конце, если строка имеет ведущие или хвостовые пробелы.

Обратите внимание, что указанное поведение соответствует поведению python's str.split.