tf.raw_ops.MapAndBatchDataset
Создаёт набор данных, объединяющий применение функции к данным с формированием пачек.
tf.raw_ops.MapAndBatchDataset(
input_dataset,
other_arguments,
batch_size,
num_parallel_calls,
drop_remainder,
f,
output_types,
output_shapes,
preserve_cardinality=False,
metadata='',
name=None
)
Создаёт набор данных, применяющий f к результатам input_dataset и затем формирующий пачки из batch_size.
В отличие от "MapDataset", который применяет f последовательно, этот набор данных вызывает до batch_size * num_parallel_batches копий f параллельно.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Вариантная тензорная величина, представляющая входной набор данных. |
other_arguments | Список Tensor объектов. Список тензоров, обычно значения, захваченные при построении замыкания для f. |
batch_size | Tensor типа int64. Скаляр, представляющий количество элементов, которые необходимо накопить в пачке. Он определяет количество одновременных вызовов f для обработки элементов из input_dataset параллельно. |
num_parallel_calls | Tensor типа int64. Скаляр, представляющий максимальное количество параллельных вызовов функции map_fn. Применение функции map_fn к последовательным элементам входных данных параллельно может улучшить пропускную способность конвейера входных данных. |
drop_remainder | Tensor типа bool. Скаляр, указывающий, следует ли отбрасывать последнюю пачку в случае, если её размер меньше желаемого. |
f | Функция, декорированная @Defun. Функция для применения к выходам input_dataset. |
output_types | Список tf.DTypes длиной >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints). Длина списка — >= 1. |
preserve_cardinality | Необязательный bool. По умолчанию False. |
metadata | Необязательный string. По умолчанию "". |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/raw_ops/MapAndBatchDataset