tf.strings.split

Разделяет элементы input по sep в RaggedTensor.

tf.strings.split(
    input, sep=None, maxsplit=-1, name=None
)

Пусть N — размер input (обычно N — размер пакета). Разделите каждый элемент input по sep и верните RaggedTensor, содержащий разделенные токены. Пустые токены игнорируются.

Пример:

tf.strings.split('hello world').numpy()
 array([b'hello', b'world'], dtype=object)
tf.strings.split(['hello world', 'a b c'])
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Если sep указано, последовательные разделители не объединяются и считаются разделителями пустых строк. Например, input от "1<>2<><>3" и sep от "<>" возвращает ["1", "2", "", "3"]. Если sep равно None или пустой строке, последовательные пробелы рассматриваются как один разделитель, и результат не будет содержать пустых строк в начале или конце, если строка имеет ведущие или хвостовые пробелы.

Обратите внимание, что указанное выше поведение соответствует поведению python's str.split.