tf.experimental.RowPartition

Разбиение последовательности значений на смежные подпоследовательности («строки»).

tf.experimental.RowPartition(
    row_splits,
    row_lengths=None,
    value_rowids=None,
    nrows=None,
    uniform_row_length=None,
    nvals=None,
    internal=False
)

Используется в блокнотах

Объект RowPartition описывает, как последовательность из nvals элементов следует разделить на nrows смежных подпоследовательностей («строк»). Например, RowPartition можно использовать для разбиения вектора [1, 2, 3, 4, 5] на подпоследовательности [[1, 2], [3], [], [4, 5]]. Обратите внимание, что RowPartition хранит информацию о способе разбиения значений, но не содержит сами разделённые значения. tf.RaggedTensor используется для объединения тензора values с одним или несколькими объектами RowPartition, обеспечивая полное представление разреженного тензора (то есть тензора с измерениями переменной длины).

Объекты RowPartition можно определить с помощью нескольких разных схем:

• row_lengths: целочисленный вектор с формой [nrows], задающий длину каждой строки.

• row_splits: целочисленный вектор с формой [nrows+1], задающий «точки разделения» между строками.

• row_starts: целочисленный вектор с формой [nrows], задающий начальное смещение каждой строки. Эквивалентно row_splits[:-1].

• row_limits: целочисленный вектор с формой [nrows], задающий конечное смещение каждой строки. Эквивалентно row_splits[1:].

• value_rowids — целочисленный вектор с формой [nvals], соответствующий значениям последовательности один к одному и задающий строку, к которой относится каждое значение. Если разбиение содержит пустые строки в конце, необходимо также указать nrows.

• uniform_row_length — целочисленный скаляр, задающий длину каждой строки. Эту схему можно использовать, только если все строки имеют одинаковую длину.

Например, следующие объекты RowPartition представляют разбиение 8 значений на 5 подсписков следующим образом: [[*, *, *, *], [], [*, *, *], [*], []].

p1 = RowPartition.from_row_lengths([4, 0, 3, 1, 0])
p2 = RowPartition.from_row_splits([0, 4, 4, 7, 8, 8])
p3 = RowPartition.from_row_starts([0, 4, 4, 7, 8], nvals=8)
p4 = RowPartition.from_row_limits([4, 4, 7, 8, 8])
p5 = RowPartition.from_value_rowids([0, 0, 0, 0, 2, 2, 2, 3], nrows=5)

Подробнее о каждой схеме см. в документации к соответствующему фабричному методу. Дополнительные примеры см. в документации по tf.RaggedTensor.

Предварительно вычисленные кодировки

Объект RowPartition всегда хранит как минимум одну кодировку разбиения, но его также можно настроить для кэширования дополнительных кодировок. Это позволяет избежать ненужных повторных вычислений в eager-режиме. (В режиме графа оптимизации, такие как устранение общих подвыражений, обычно предотвращают эти ненужные повторные вычисления.) Чтобы проверить, какие кодировки вычислены заранее, используйте RowPartition.has_precomputed_<encoding>. Чтобы кэшировать дополнительную кодировку, используйте RowPartition.with_precomputed_<encoding>.

self.row_lengths().shape == [self.static_nrows]
self.row_starts().shape == [self.static_nrows]
self.row_limits().shape == [self.static_nrows]
self.row_splits().shape == [self.static_nrows + 1]

self.value_rowids().shape == [self.static_vals]

Методы

from_row_lengths

Посмотреть исходный код

@classmethod
from_row_lengths(
    row_lengths, validate=True, dtype=None, dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по row_lengths.

Этот RowPartition делит последовательность values на строки, задавая длину каждой строки:

partitioned_rows = [[values.pop(0) for _ in range(length)]
                    for length in row_lengths]

from_row_limits

Посмотреть исходный код

@classmethod
from_row_limits(
    row_limits, validate=True, dtype=None, dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по row_limits.

Эквивалентно: from_row_splits(values, concat([0, row_limits], axis=0)).

from_row_splits

Посмотреть исходный код

@classmethod
from_row_splits(
    row_splits, validate=True, dtype=None, dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по row_splits.

Этот RowPartition делит последовательность values на строки, указывая, где начинается и заканчивается каждая строка:

partitioned_rows = []
for i in range(len(row_splits) - 1):
  row_start = row_splits[i]
  row_end = row_splits[i + 1]
  partitioned_rows.append(values[row_start:row_end])

from_row_starts

Посмотреть исходный код

@classmethod
from_row_starts(
    row_starts, nvals, validate=True, dtype=None, dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по row_starts.

Эквивалентно: from_row_splits(concat([row_starts, nvals], axis=0)).

from_uniform_row_length

Посмотреть исходный код

@classmethod
from_uniform_row_length(
    uniform_row_length,
    nvals=None,
    nrows=None,
    validate=True,
    dtype=None,
    dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по uniform_row_length.

Этот RowPartition делит последовательность values на строки одинаковой длины:

partitioned_rows = [[values.pop(0) for _ in range(uniform_row_length)]
         for _ in range(nrows)]

Обратите внимание, что необходимо указать nvals, nrows или оба параметра.

from_value_rowids

Посмотреть исходный код

@classmethod
from_value_rowids(
    value_rowids, nrows=None, validate=True, dtype=None, dtype_hint=None
)

Создаёт объект RowPartition с разбиением строк по value_rowids.

Этот RowPartition делит последовательность values на строки, указывая, к какой строке следует добавить каждое значение:

partitioned_rows = [[] for _ in nrows]
for (value, rowid) in zip(values, value_rowids):
  partitioned_rows[rowid].append(value)

Пример:

print(RowPartition.from_value_rowids(
    value_rowids=[0, 0, 0, 0, 2, 2, 2, 3],
    nrows=4))
tf.RowPartition(row_splits=[0 4 4 7 8])

is_uniform

Посмотреть исходный код

is_uniform()

Возвращает true, если статически известно, что разбиение является равномерным.

Это определяется наличием self._uniform_row_length. Например: RowPartition.from_row_lengths([3,3,3]).is_uniform()false RowPartition.from_uniform_row_length(5, nvals=20).is_uniform()true RowPartition.from_row_lengths([2,0,2]).is_uniform()==false

nrows

Посмотреть исходный код

nrows()

Возвращает количество строк, созданных этим объектом RowPartition.

nvals

Посмотреть исходный код

nvals()

Возвращает количество значений, разбитых на части этим объектом RowPartition.

Если последовательность, разбитая этим объектом RowPartition, является тензором, то nvals — это размер самого внешнего измерения этого тензора, то есть nvals == values.shape[0].

offsets_in_rows

Посмотреть исходный код

offsets_in_rows()

Возвращает смещение каждого значения.

RowPartition принимает массив x и преобразует его в подсписки. offsets[i] — это индекс x[i] в соответствующем подсписке. Для структуры вида [,,],[,],[],[,*] возвращается: 0,1,2,0,1,0,1

row_lengths

Посмотреть исходный код

row_lengths()

Возвращает длины строк в этом объекте RowPartition.

row_limits

Посмотреть исходный код

row_limits()

Возвращает индексы границ строк в этом разбиении строк.

Эти индексы указывают, где заканчиваются значения каждой строки. partition.row_limits() равно partition.row_splits()[:-1].

row_splits

Посмотреть исходный код

row_splits()

Возвращает индексы разделения строк для этого разбиения строк.

row_splits указывает, где начинаются и заканчиваются значения каждой строки. В частности, значения строки i хранятся в срезе values[row_splits[i]:row_splits[i+1]].

row_starts

Посмотреть исходный код

row_starts()

Возвращает начальные индексы строк в этом разбиении строк.

Эти индексы указывают, где начинаются значения каждой строки. partition.row_starts() равно partition.row_splits()[:-1].

uniform_row_length

Посмотреть исходный код

uniform_row_length()

Возвращает длину каждой строки в этом разбиении, если строки равномерны.

Если все строки в этом объекте RowPartition имеют одинаковую длину, этот метод возвращает эту длину в виде скалярного целочисленного Tensor. В противном случае он возвращает None.

value_rowids

Посмотреть исходный код

value_rowids()

Возвращает индексы строк для этого разбиения строк.

value_rowids задаёт индекс строки для каждого значения. В частности, value_rowids[i] — это индекс строки для values[i].

with_dtype

Посмотреть исходный код

with_dtype(
    dtype
)

Возвращает копию этого объекта RowPartition с указанным типом данных кодировки.