tf.data.experimental.dense_to_ragged_batch

Преобразование, которое группирует разрозненные элементы в tf.RaggedTensor.

tf.data.experimental.dense_to_ragged_batch(
    batch_size, drop_remainder=False, row_splits_dtype=tf.dtypes.int64
)

Это преобразование объединяет несколько последовательных элементов входного набора данных в один элемент.

Как и tf.data.Dataset.batch, компоненты результирующего элемента получат дополнительное внешнее измерение, которое будет batch_size (или N % batch_size для последнего элемента, если batch_size не делит число входных элементов N равномерно, и drop_remainder равно False). Если ваша программа зависит от того, что у партий одинаковое внешнее измерение, необходимо установить аргумент drop_remainder в значение True, чтобы предотвратить создание меньшей партии.

В отличие от tf.data.Dataset.batch, входные элементы для группирования могут иметь разные формы:

• Если входной элемент является tf.Tensor, статическая tf.TensorShape которого полностью определена, то он группируется в обычном режиме.
• Если входной элемент является tf.Tensor, статическая tf.TensorShape которого содержит одну или несколько осей с неизвестным размером (т.е., shape[i]=None), то результат будет содержать tf.RaggedTensor, который является разрозненным до любых из таких измерений.
• Если входной элемент является tf.RaggedTensor или любого другого типа, то он группируется в обычном режиме.

Пример:

dataset = tf.data.Dataset.from_tensor_slices(np.arange(6))
dataset = dataset.map(lambda x: tf.range(x))
dataset.element_spec.shape
TensorShape([None])
dataset = dataset.apply(
    tf.data.experimental.dense_to_ragged_batch(batch_size=2))
for batch in dataset:
  print(batch)
<tf.RaggedTensor [[], [0]]>
<tf.RaggedTensor [[0, 1], [0, 1, 2]]>
<tf.RaggedTensor [[0, 1, 2, 3], [0, 1, 2, 3, 4]]>