tf.raw_ops.StringSplit

Разделение элементов input по delimiter в SparseTensor.

tf.raw_ops.StringSplit(
    input, delimiter, skip_empty=True, name=None
)

Пусть N — размер источника (как правило, N — размер пакетной обработки). Разделите каждый элемент input по delimiter и верните SparseTensor, содержащий разделенные токены. Пустые токены игнорируются.

delimiter может быть пустым или строкой символов-разделителей. Если delimiter — пустая строка, каждый элемент input разбивается на отдельные символы с однобайтовой кодировкой, включая разделение многобайтовых последовательностей UTF-8. В противном случае каждый символ в delimiter является потенциальной точкой разбиения.

Например:

N = 2, input[0] — 'hello world', а input[1] — 'a b c', тогда выход будет

indices = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] shape = [2, 3] values = ['hello', 'world', 'a', 'b', 'c']