tf.raw_ops.ParallelInterleaveDatasetV2
Создает набор данных, который применяет f к выходным данным input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV2(
input_dataset,
other_arguments,
cycle_length,
block_length,
num_parallel_calls,
f,
output_types,
output_shapes,
sloppy=False,
metadata='',
name=None
)
Результирующий набор данных похож на InterleaveDataset, за исключением того, что он будет извлекать записи из чередующихся наборов данных параллельно.
Python API tf.data создает экземпляры этой операции из Dataset.interleave(), когда для параметра num_parallel_calls этого метода задано любое значение, отличное от None.
По умолчанию выходные данные этого набора данных будут детерминированными, что может привести к блокировке набора данных, если следующий элемент данных для возврата недоступен. Чтобы избежать блокировки в начале очереди, можно задать для параметра experimental_deterministic объекта tf.data.Options значение False, что может повысить производительность ценой недетерминированности.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, который создает поток аргументов для функции f. |
other_arguments | Список объектов Tensor. Дополнительные аргументы, передаваемые в f помимо тех, которые создает input_dataset. Вычисляются один раз при создании экземпляра набора данных. |
cycle_length | Tensor типа int64. Число наборов данных (каждый создается путем применения f к элементам input_dataset), между которыми ParallelInterleaveDatasetV2 будет циклически переключаться. |
block_length | Tensor типа int64. Число элементов, создаваемых за один раз при каждом чередующемся вызове набора данных, возвращаемого f. |
num_parallel_calls | Tensor типа int64. Определяет число потоков, используемых для параллельного извлечения данных из входных наборов данных. Для указания автоматической настройки уровня параллелизма можно использовать константу tf.data.experimental.AUTOTUNE Python API. |
f | Функция, декорированная с помощью @Defun. Функция, преобразующая элементы input_dataset, объединенные с other_arguments, в вариант Dataset, содержащий элементы, соответствующие output_types и output_shapes. |
output_types | Список объектов tf.DTypes длиной >= 1. |
output_shapes | Список форм (каждая — это tf.TensorShape или список ints) длиной >= 1. |
sloppy | Необязательный bool. По умолчанию — False. |
metadata | Необязательный string. По умолчанию — "". |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV2