tf.compat.v1.string_split

Разделение элементов source на основе delimiter. (устаревшие аргументы)

tf.compat.v1.string_split(
    source,
    sep=None,
    skip_empty=True,
    delimiter=None,
    result_type='SparseTensor',
    name=None
)

Пусть N — размер source (обычно N будет размером пакета). Разделите каждый элемент source на основе delimiter и верните SparseTensor или RaggedTensor, содержащие разделенные токены. Пустые токены игнорируются.

Если sep — пустая строка, каждый элемент source разделяется на отдельные строки, каждая из которых содержит один байт. (Это включает разделение многобайтовых последовательностей UTF-8.) Если разделитель содержит несколько байтов, он обрабатывается как набор разделителей, каждый из которых рассматривается как потенциальная точка разделения.

Примеры:

print(tf.compat.v1.string_split(['hello world', 'a b c']))
SparseTensor(indices=tf.Tensor( [[0 0] [0 1] [1 0] [1 1] [1 2]], ...),
             values=tf.Tensor([b'hello' b'world' b'a' b'b' b'c'], ...),
             dense_shape=tf.Tensor([2 3], shape=(2,), dtype=int64))

print(tf.compat.v1.string_split(['hello world', 'a b c'],
    result_type="RaggedTensor"))
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>