tf.compat.v1.string_split

Разделяет элементы source по delimiter. (устаревшие аргументы)

tf.compat.v1.string_split(
    source,
    sep=None,
    skip_empty=True,
    delimiter=None,
    result_type='SparseTensor',
    name=None
)

Пусть N — размер source (обычно N будет размером пакета). Разделите каждый элемент source по delimiter и верните SparseTensor или RaggedTensor, содержащие разделительные токены. Пустые токены игнорируются.

Если sep — пустая строка, каждый элемент source разделяется на отдельные строки, каждая из которых содержит один байт. (Это включает разделение многобайтовых последовательностей UTF-8). Если delimiter содержит несколько байтов, он обрабатывается как множество разделителей, каждый из которых рассматривается как потенциальная точка разделения.

Примеры:

print(tf.compat.v1.string_split(['hello world', 'a b c']))
SparseTensor(indices=tf.Tensor( [[0 0] [0 1] [1 0] [1 1] [1 2]], ...),
             values=tf.Tensor([b'hello' b'world' b'a' b'b' b'c'], ...),
             dense_shape=tf.Tensor([2 3], shape=(2,), dtype=int64))

print(tf.compat.v1.string_split(['hello world', 'a b c'],
    result_type="RaggedTensor"))
<tf.RaggedTensor [[b'hello', b'world'], [b'a', b'b', b'c']]>

Аргументы
`source`	`1-D` строка `Tensor`, строки для разделения.
`sep`	`0-D` строка `Tensor`, разделительный символ, строка должна иметь длину 0 или 1. По умолчанию ' '.
`skip_empty`	Логическое значение. Если True, пропускайте пустые строки из результата.
`delimiter`	устаревшее алиас для `sep`.
`result_type`	Тип тензора для результата: один из `"RaggedTensor"` или `"SparseTensor"`.
`name`	Имя операции (необязательно).

Возможные исключения
`ValueError`	Если delimiter не является строкой.

Возвращаемое значение
`SparseTensor` или `RaggedTensor` ранга `2`, строки, разделенные по разделителю. Первый столбец индексов соответствует строке в `source`, а второй столбец соответствует индексу разделяемого компонента в этой строке.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/string_split