tf.raw_ops.ParallelInterleaveDatasetV2
Создаёт набор данных, применяющий f к выходам input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV2(
input_dataset, other_arguments, cycle_length, block_length, num_parallel_calls,
f, output_types, output_shapes, sloppy=False, name=None
)
Полученный набор данных похож на InterleaveDataset, за исключением того, что набор данных будет извлекать записи из переплетённых наборов данных параллельно.
Python-API tf.data создаёт экземпляры этого оператора из Dataset.interleave(), когда параметр num_parallel_calls этого метода установлен на любое значение, отличное от None.
По умолчанию вывод этого набора данных будет детерминированным, что может привести к блокировке набора данных, если следующий возвращаемый элемент данных недоступен. Чтобы избежать блокировки в начале очереди, можно установить параметр experimental_deterministic в tf.data.Options на False, что может улучшить производительность за счёт недетерминированности.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, генерирующий поток аргументов для функции f. |
other_arguments | Список Tensor объектов. Дополнительные аргументы для передачи в f помимо тех, которые генерируются input_dataset. Оценивается один раз при создании набора данных. |
cycle_length | Tensor типа int64. Количество наборов данных (каждый создаётся применением f к элементам input_dataset), между которыми ParallelInterleaveDatasetV2 будет циклически переключаться в режиме кругового обхода. |
block_length | Tensor типа int64. Количество элементов, генерируемых за один раз из каждого переплетённого вызова набора данных, возвращённого f. |
num_parallel_calls | Tensor типа int64. Определяет количество потоков, которые должны использоваться для параллельного извлечения данных из входных наборов данных. Постоянная Python-API tf.data.experimental.AUTOTUNE может быть использована для указания того, что уровень параллелизма должен быть настроен автоматически. |
f | Функция, помеченная декоратором @Defun. Функция, отображающая элементы input_dataset, соединённые с other_arguments, в набор данных, содержащий элементы, соответствующие output_types и output_shapes. |
output_types | Список tf.DTypes, длина которого равна >= 1. |
output_shapes | Список форм (каждая – tf.TensorShape или список ints), длина которого равна >= 1. |
sloppy | Необязательный bool. По умолчанию False. |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
Tensor типа variant. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV2