tf.data.experimental.map_and_batch
Объединённая реализация map и batch. (устаревшее)
tf.data.experimental.map_and_batch(
map_func,
batch_size,
num_parallel_batches=None,
drop_remainder=False,
num_parallel_calls=None
)
Применяет map_func ко batch_size последовательным элементам этого набора данных, а затем объединяет их в пакет. Функционально, это эквивалентно map, за которым следует batch. Этот API временный и устарел, так как оптимизация входных конвейеров теперь автоматически объединяет последовательные операции map и batch.
| Аргументы | |
|---|---|
map_func | Функция, отображающая вложенную структуру тензоров в другую вложенную структуру тензоров. |
batch_size | Скалярное значение типа tf.int64, представляющее количество последовательных элементов этого набора данных для объединения в один пакет. |
num_parallel_batches | (Необязательно.) Скалярное значение типа tf.int64, представляющее количество пакетов, создаваемых параллельно. С одной стороны, более высокие значения могут помочь уменьшить влияние отстающих элементов. С другой стороны, более высокие значения могут увеличить конкуренцию, если ЦП ограничен. |
drop_remainder | (Необязательно.) Скалярное значение типа tf.bool, указывающее, нужно ли отбрасывать последний пакет в случае, если его размер меньше желаемого; по умолчанию меньший пакет не отбрасывается. |
num_parallel_calls | (Необязательно.) Скалярное значение типа tf.int32, представляющее количество элементов для обработки параллельно. Если не указано, обрабатывается batch_size * num_parallel_batches элементов параллельно. Если используется значение tf.data.AUTOTUNE, то количество параллельных вызовов устанавливается динамически в зависимости от доступного ЦП. |
| Возвращаемое значение | |
|---|---|
Функция преобразования Dataset, которую можно передать в tf.data.Dataset.apply. |
| Возможные исключения | |
|---|---|
ValueError | Если оба num_parallel_batches и num_parallel_calls указаны. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/map_and_batch