tensorflow::ops::StringSplit

#include <string_ops.h>

Разбивает элементы input на основе delimiter на SparseTensor.

Сводка

Пусть N — размер исходных данных (обычно N соответствует размеру пакета). Разбивает каждый элемент input на основе delimiter и возвращает SparseTensor, содержащий разделённые токены. Пустые токены игнорируются (Empty).

delimiter может быть пустым или содержать символы-разделители. Если delimiter — пустая строка, каждый элемент input разбивается на отдельные однобайтовые символьные строки, включая разбиение многобайтовых последовательностей UTF-8. В противном случае каждый символ delimiter может служить точкой разделения.

Например: N = 2, input[0] — 'hello world', а input[1] — 'a b c'; тогда результат будет таким:

indices = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] shape = [2, 3] values = ['hello', 'world', 'a', 'b', 'c']

Аргументы:

• scope: объект Scope
• input: одномерный тензор. Строки для разбиения.
• delimiter: скаляр. Символы-разделители (байты) или пустая строка.

Необязательные атрибуты (см. Attrs):

• skip_empty: значение bool. Если True, пустые строки исключаются из результата.

Возвращает:

• Output indices: плотная матрица int64, представляющая индексы разреженного тензора.
• Output values: вектор строк, соответствующих разделённым значениям.
• Output shape: вектор int64 длины 2, представляющий форму разреженного тензора, где первое значение — N, а второе — максимальное количество токенов в одной входной записи.

Публичные атрибуты

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

Публичные функции

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Публичные статические функции

Attrs SkipEmpty(
  bool x
)