tf.compat.v1.strings.split

Разделяет элементы input на основе sep.

tf.compat.v1.strings.split(
    input=None,
    sep=None,
    maxsplit=-1,
    result_type='SparseTensor',
    source=None,
    name=None
)

Пусть N — размер input (обычно N будет размером пакета). Разделяет каждый элемент input на основе sep и возвращает SparseTensor или RaggedTensor, содержащий разделенные токены. Пустые токены игнорируются.

Примеры:

print(tf.compat.v1.strings.split(['hello world', 'a b c']))
SparseTensor(indices=tf.Tensor( [[0 0] [0 1] [1 0] [1 1] [1 2]], ...),
             values=tf.Tensor([b'hello' b'world' b'a' b'b' b'c'], ...),
             dense_shape=tf.Tensor([2 3], shape=(2,), dtype=int64))

print(tf.compat.v1.strings.split(['hello world', 'a b c'],
    result_type="RaggedTensor"))
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Если задано sep, последовательные разделители не объединяются и считаются разделителями пустых строк. Например, input для "1<>2<><>3" и sep для "<>" возвращает ["1", "2", "", "3"]. Если sep равно None или пустой строке, последовательные пробельные символы считаются одним разделителем, а если строка начинается или заканчивается пробельными символами, результат не будет содержать пустых строк в начале или конце.

Обратите внимание, что описанное выше поведение соответствует методу str.split в Python.