tf.raw_ops.ParallelInterleaveDatasetV2
Создаёт набор данных, который применяет f к результатам input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV2(
input_dataset, other_arguments, cycle_length, block_length, num_parallel_calls,
f, output_types, output_shapes, sloppy=False, name=None
)
Полученный набор данных аналогичен InterleaveDataset, за исключением того, что набор данных будет извлекать записи из переплетённых наборов данных параллельно.
Python-API tf.data создаёт экземпляры этого оператора из Dataset.interleave(), когда параметр num_parallel_calls этого метода задан любым значением, кроме None.
По умолчанию выход этого набора данных будет детерминированным, что может привести к блокировке набора данных, если следующий элемент данных для возврата недоступен. Чтобы избежать блокировки в начале очереди, можно задать параметр experimental_deterministic для tf.data.Options в значение False, что может улучшить производительность за счёт недетерминированности.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, генерирующий поток аргументов для функции f. |
other_arguments | Список объектов Tensor. Дополнительные аргументы для передачи в f помимо тех, которые генерируются input_dataset. Вычисляются один раз при создании набора данных. |
cycle_length | Tensor типа int64. Количество наборов данных (каждый создан путём применения f к элементам input_dataset), среди которых ParallelInterleaveDatasetV2 будет циклически перебирать в порядке кругового обхода. |
block_length | Tensor типа int64. Количество элементов, одновременно генерируемых из каждого переплетённого вызова набора данных, возвращаемого f. |
num_parallel_calls | Tensor типа int64. Определяет количество потоков, которое должно быть использовано для одновременного извлечения данных из входных наборов данных. Постоянная Python-API tf.data.experimental.AUTOTUNE может быть использована для указания того, что уровень параллелизма должен быть настроен автоматически. |
f | Функция, декорированная @Defun. Функция, сопоставляющая элементы input_dataset, конкатенированные с other_arguments, с вариантом набора данных, содержащим элементы, соответствующие output_types и output_shapes. |
output_types | Список tf.DTypes длиной >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints), длиной >= 1. |
sloppy | Необязательный bool. По умолчанию False. |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
Tensor типа variant. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV2