tf.data.experimental.map_and_batch
Объединённая реализация map и batch. (устарело)
tf.data.experimental.map_and_batch(
map_func,
batch_size,
num_parallel_batches=None,
drop_remainder=False,
num_parallel_calls=None
)
Применяет map_func к batch_size последовательным элементам этого набора данных, а затем объединяет их в пакет. Функционально это эквивалентно map, за которым следует batch. Этот API является временным и устаревшим, поскольку оптимизация конвейера ввода теперь автоматически объединяет последовательные операции map и batch.
| Аргументы | |
|---|---|
map_func | Функция, преобразующая вложенную структуру тензоров в другую вложенную структуру тензоров. |
batch_size | Скалярный tf.int64 tf.Tensor, задающий количество последовательных элементов этого набора данных, объединяемых в один пакет. |
num_parallel_batches | (Необязательно.) Скалярный tf.int64 tf.Tensor, задающий количество пакетов, создаваемых параллельно. С одной стороны, большие значения помогают уменьшить влияние медленно обрабатываемых элементов. С другой стороны, большие значения могут усилить конкуренцию за ресурсы, если процессор ограничен. |
drop_remainder | (Необязательно.) Скалярный tf.bool tf.Tensor, указывающий, следует ли отбрасывать последний пакет, если его размер меньше требуемого; по умолчанию пакет меньшего размера не отбрасывается. |
num_parallel_calls | (Необязательно.) Скалярный tf.int32 tf.Tensor, задающий количество элементов, обрабатываемых параллельно. Если значение не указано, параллельно будут обрабатываться элементы batch_size * num_parallel_batches. Если используется значение tf.data.AUTOTUNE, количество параллельных вызовов будет динамически определяться на основе доступных ресурсов процессора. |
| Возвращает | |
|---|---|
Функцию преобразования Dataset, которую можно передать в tf.data.Dataset.apply. |
| Вызывает исключение | |
|---|---|
ValueError | Если указаны оба параметра: num_parallel_batches и num_parallel_calls. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/map_and_batch
