tf.strings.split

Разделяет элементы input по sep в RaggedTensor.

tf.strings.split(
    input, sep=None, maxsplit=-1, name=None
)

Пусть N – размер input (обычно N – размер пакета). Разделяет каждый элемент input по sep и возвращает RaggedTensor, содержащий разделенные токены. Пустые токены игнорируются.

Пример:

tf.strings.split('hello world').numpy()
 array([b'hello', b'world'], dtype=object)
tf.strings.split(['hello world', 'a b c'])
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Если sep задан, последовательные разделители не группируются вместе и считаются разделителями пустых строк. Например, input от "1<>2<><>3" и sep от "<>" возвращает ["1", "2", "", "3"]. Если sep равен None или пустой строке, последовательные пробелы рассматриваются как один разделитель, а результат не будет содержать пустых строк в начале или конце, если строка имеет начальные или конечные пробелы.

Обратите внимание, что упомянутое выше поведение соответствует поведению python's str.split.