tf.contrib.data.map_and_batch
Объединенная реализация map и batch. (устарело)
tf.contrib.data.map_and_batch(
map_func, batch_size, num_parallel_batches=None, drop_remainder=False,
num_parallel_calls=None
)
Применяет функцию map_func к batch_size последовательным элементам этого набора данных, а затем объединяет их в пакет. Функционально, это эквивалентно map и batch. Однако, объединив два преобразования, реализация может быть более эффективной. Внесение этого преобразования в API временное. После реализации автоматической оптимизации конвейера ввода, объединение map и batch будет происходить автоматически, и этот API будет устаревшим.
| Аргументы | |
|---|---|
map_func | Функция, отображающая вложенную структуру тензоров на другую вложенную структуру тензоров. |
batch_size | Скалярное значение типа tf.int64, представляющее количество последовательных элементов этого набора данных, которые необходимо объединить в один пакет. |
num_parallel_batches | (Необязательно.) Скалярное значение типа tf.int64, представляющее количество пакетов, которые необходимо создать параллельно. С одной стороны, более высокие значения могут помочь смягчить эффект отстающих элементов. С другой стороны, более высокие значения могут увеличить конкуренцию, если процессор CPU перегружен. |
drop_remainder | (Необязательно.) Скалярное значение типа tf.bool, представляющее, следует ли отбрасывать последний пакет, если его размер меньше желаемого; поведение по умолчанию - не отбрасывать меньший пакет. |
num_parallel_calls | (Необязательно.) Скалярное значение типа tf.int32, представляющее количество элементов для обработки параллельно. Если не указано, будет обрабатываться batch_size * num_parallel_batches элементов параллельно. |
| Возвращаемое значение | |
|---|---|
Функция преобразования Dataset, которую можно передать в tf.data.Dataset.apply. |
| Исключения | |
|---|---|
ValueError | Если оба num_parallel_batches и num_parallel_calls указаны. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/data/map_and_batch