tf.raw_ops.ParallelInterleaveDatasetV2
Создаёт набор данных, применяющий f к результатам input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV2(
input_dataset,
other_arguments,
cycle_length,
block_length,
num_parallel_calls,
f,
output_types,
output_shapes,
sloppy=False,
metadata='',
name=None
)
Получаемый набор данных аналогичен InterleaveDataset, за исключением того, что набор данных будет получать записи из переплетённых наборов данных параллельно.
API Python tf.data создаёт экземпляры этого оператора из Dataset.interleave(), когда параметр num_parallel_calls этого метода устанавливается в любое значение, отличное от None.
По умолчанию вывод этого набора данных будет детерминированным, что может привести к блокированию набора данных, если следующий элемент данных для возврата недоступен. Чтобы избежать блокировки по первому элементу очереди, можно установить параметр experimental_deterministic в tf.data.Options в значение False, что может улучшить производительность за счёт недетерминированности.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, генерирующий поток аргументов для функции f. |
other_arguments | Список объектов Tensor. Дополнительные аргументы для передачи функции f помимо тех, которые генерируются input_dataset. Вычисляется один раз при создании набора данных. |
cycle_length | Tensor типа int64. Количество наборов данных (каждый создаётся путём применения f к элементам input_dataset), между которыми ParallelInterleaveDatasetV2 будет циклически переключаться в режиме круговой очереди. |
block_length | Tensor типа int64. Количество элементов за раз, генерируемых каждым переплетённым вызовом набора данных, возвращаемого f. |
num_parallel_calls | Tensor типа int64. Определяет количество потоков, которые следует использовать для параллельного извлечения данных из входных наборов данных. Константа API Python tf.data.experimental.AUTOTUNE может использоваться для указания того, что уровень параллелизма должен быть настроен автоматически. |
f | Функция, помеченная аннотацией @Defun. Функция, сопоставляющая элементы input_dataset, конкатенированные с other_arguments, с вариантом набора данных, содержащим элементы, соответствующие output_types и output_shapes. |
output_types | Список tf.DTypes, длина которого равна >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints), длина которого равна >= 1. |
sloppy | Необязательный bool. По умолчанию False. |
metadata | Необязательный string. По умолчанию "". |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV2