tf.compat.v1.string_split

Разделяет элементы source на основе delimiter. (устаревшие аргументы)

tf.compat.v1.string_split(
    source,
    sep=None,
    skip_empty=True,
    delimiter=None,
    result_type='SparseTensor',
    name=None
)

Пусть N — размер source (обычно N соответствует размеру пакета). Разделяет каждый элемент source на основе delimiter и возвращает SparseTensor или RaggedTensor, содержащий разделённые токены. Пустые токены игнорируются.

Если sep — пустая строка, каждый элемент source разделяется на отдельные строки, каждая из которых содержит один байт. (Это включает разделение многобайтовых последовательностей UTF-8.) Если delimiter содержит несколько байтов, он рассматривается как набор разделителей, каждый из которых может быть потенциальной точкой разделения.

Примеры:

print(tf.compat.v1.string_split(['hello world', 'a b c']))
SparseTensor(indices=tf.Tensor( [[0 0] [0 1] [1 0] [1 1] [1 2]], ...),
             values=tf.Tensor([b'hello' b'world' b'a' b'b' b'c'], ...),
             dense_shape=tf.Tensor([2 3], shape=(2,), dtype=int64))

print(tf.compat.v1.string_split(['hello world', 'a b c'],
    result_type="RaggedTensor"))
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Аргументы
`source`	`1-D` string `Tensor`, строки для разделения.
`sep`	`0-D` string `Tensor`, символ-разделитель; длина строки должна быть равна 0 или 1. По умолчанию — ' '.
`skip_empty`	`bool`. Если `True`, пустые строки исключаются из результата.
`delimiter`	устаревший псевдоним для `sep`.
`result_type`	Тип тензора результата: один из `"RaggedTensor"` или `"SparseTensor"`.
`name`	Имя операции (необязательно).

Вызывает исключения
`ValueError`	Если delimiter не является строкой.

Возвращает
`SparseTensor` или `RaggedTensor` ранга `2` — строки, разделённые в соответствии с разделителем. Первый столбец индексов соответствует строке в `source`, а второй столбец соответствует индексу компонента разделения в этой строке.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/string_split