tf.compat.v1.strings.split

Разделение элементов input на основе sep.

tf.compat.v1.strings.split(
    input=None, sep=None, maxsplit=-1, result_type='SparseTensor',
    source=None, name=None
)

Пусть N — размер input (обычно N — это размер пакета). Разделите каждый элемент input на основе sep и верните SparseTensor или RaggedTensor, содержащие разделенные токены. Пустые токены игнорируются.

Примеры:

print(tf.compat.v1.strings.split(['hello world', 'a b c']))
SparseTensor(indices=tf.Tensor( [[0 0] [0 1] [1 0] [1 1] [1 2]], ...),
             values=tf.Tensor([b'hello' b'world' b'a' b'b' b'c'], ...),
             dense_shape=tf.Tensor([2 3], shape=(2,), dtype=int64))

print(tf.compat.v1.strings.split(['hello world', 'a b c'],
    result_type="RaggedTensor"))
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Если sep задано, последовательные разделители не объединяются и считаются разделителями пустых строк. Например, input от "1<>2<><>3" и sep от "<>" возвращает ["1", "2", "", "3"]. Если sep равно None или пустой строке, последовательные пробелы рассматриваются как один разделитель, и результат не будет содержать пустых строк в начале или конце, если строка имеет начальные или конечные пробелы.

Обратите внимание, что указанное выше поведение соответствует поведению python's str.split.