tf.raw_ops.ParallelInterleaveDatasetV2
Создаёт набор данных, применяющий f к выходам input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV2(
input_dataset,
other_arguments,
cycle_length,
block_length,
num_parallel_calls,
f,
output_types,
output_shapes,
sloppy=False,
metadata='',
name=None
)
Получаемый набор данных похож на InterleaveDataset, за исключением того, что набор данных будет получать записи из переплетённых наборов данных параллельно.
Интерфейс Python tf.data создаёт экземпляры этого оператора из Dataset.interleave(), когда параметр num_parallel_calls этого метода устанавливается в любое значение, отличное от None.
По умолчанию вывод этого набора данных будет детерминированным, что может привести к блокированию набора данных, если следующий элемент данных для возврата недоступен. Для предотвращения блокировки в начале очереди можно установить параметр experimental_deterministic в tf.data.Options в False, что может улучшить производительность за счёт недетерминированности.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, который генерирует поток аргументов для функции f. |
other_arguments | Список объектов Tensor. Дополнительные аргументы для передачи функции f помимо тех, которые генерируются input_dataset. Оценивается один раз при создании набора данных. |
cycle_length | Tensor типа int64. Количество наборов данных (каждый создаётся путём применения f к элементам input_dataset) среди которых ParallelInterleaveDatasetV2 будет циклически переключаться в режиме круговой очереди. |
block_length | Tensor типа int64. Количество элементов за раз, которые нужно сгенерировать из каждого переплетённого вызова набора данных, возвращаемого f |
num_parallel_calls | Tensor типа int64. Определяет количество потоков, которые должны использоваться для параллельного получения данных из входных наборов данных. Константа интерфейса Python tf.data.experimental.AUTOTUNE может быть использована для указания того, что уровень параллелизма должен быть настроен автоматически. |
f | Функция, декорированная @Defun. Функция, отображающая элементы input_dataset, конкатенированные с other_arguments, в набор данных типа Dataset, содержащий элементы, соответствующие output_types и output_shapes. |
output_types | Список tf.DTypes длиной >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints), длина которого равна >= 1. |
sloppy | Необязательный bool. По умолчанию False |
metadata | Необязательный string. По умолчанию "" |
name | Название операции (необязательно). |
| Возвращает | |
|---|---|
Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV2