tf.data.experimental.dense_to_ragged_batch

Преобразование, которое объединяет разрозненные элементы в tf.RaggedTensor. (устаревшее)

tf.data.experimental.dense_to_ragged_batch(
    batch_size,
    drop_remainder=False,
    row_splits_dtype=tf.dtypes.int64
)

Используется в блокнотах

Это преобразование объединяет несколько последовательных элементов входного набора данных в один элемент.

Как и tf.data.Dataset.batch, компоненты результирующего элемента будут иметь дополнительное внешнее измерение, которое будет batch_size (или N % batch_size для последнего элемента, если batch_size не делит количество входных элементов N равномерно и drop_remainder равно False). Если ваша программа зависит от того, чтобы у партий было одинаковое внешнее измерение, вы должны установить аргумент drop_remainder на значение True, чтобы предотвратить создание более малой партии.

В отличие от tf.data.Dataset.batch, входные элементы для объединения могут иметь разные формы:

• Если входной элемент является tf.Tensor, у которого статическая tf.TensorShape полностью определена, он объединяется в обычном режиме.
• Если входной элемент является tf.Tensor, у которого статическая tf.TensorShape содержит одну или несколько осей с неизвестной длиной (т. е. shape[i]=None), то выходной результат будет содержать tf.RaggedTensor, который является разрозненным до любого из таких измерений.
• Если входной элемент является tf.RaggedTensor или любого другого типа, он объединяется в обычном режиме.

Пример:

dataset = tf.data.Dataset.from_tensor_slices(np.arange(6))
dataset = dataset.map(lambda x: tf.range(x))
dataset.element_spec.shape
TensorShape([None])
dataset = dataset.apply(
    tf.data.experimental.dense_to_ragged_batch(batch_size=2))
for batch in dataset:
  print(batch)
<tf.RaggedTensor [[], [0]]>
<tf.RaggedTensor [[0, 1], [0, 1, 2]]>
<tf.RaggedTensor [[0, 1, 2, 3], [0, 1, 2, 3, 4]]>