tf.raw_ops.ParallelInterleaveDatasetV3
Создаёт набор данных, применяющий f к выходам input_dataset.
tf.raw_ops.ParallelInterleaveDatasetV3(
input_dataset,
other_arguments,
cycle_length,
block_length,
num_parallel_calls,
f,
output_types,
output_shapes,
deterministic='default',
metadata='',
name=None
)
Полученный набор данных аналогичен InterleaveDataset, за исключением того, что набор данных будет извлекать записи из переплетённых наборов данных параллельно.
Интерфейс Python tf.data создаёт экземпляры этого оператора из Dataset.interleave(), когда параметр num_parallel_calls этого метода установлен на любое значение, кроме None.
По умолчанию выход этого набора данных будет детерминированным, что может привести к блокировке набора данных, если следующий элемент данных для возврата недоступен. Чтобы избежать блокировки по очереди, можно установить атрибут deterministic в «false» или оставить его по умолчанию и установить параметр experimental_deterministic метода tf.data.Options в значение False. Это может улучшить производительность за счёт недетерминизма.
| Аргументы | |
|---|---|
input_dataset | Tensor типа variant. Набор данных, генерирующий поток аргументов для функции f. |
other_arguments | Список объектов Tensor. Дополнительные аргументы для передачи функции f помимо тех, которые генерирует input_dataset. Вычисляется один раз при создании набора данных. |
cycle_length | Tensor типа int64. Количество наборов данных (каждый создан путём применения f к элементам input_dataset) в рамках которых ParallelInterleaveDatasetV2 будет циклически повторяться по кругу. |
block_length | Tensor типа int64. Количество элементов за раз для получения от каждого переплетённого вызова набора данных, возвращаемого f. |
num_parallel_calls | Tensor типа int64. Определяет количество потоков, которые следует использовать для параллельного извлечения данных из входных наборов данных. Константа Python API tf.data.experimental.AUTOTUNE может быть использована для указания того, что уровень параллелизма должен быть автоматически настроен. |
f | Функция, декорированная @Defun. Функция, отображающая элементы input_dataset, объединённые с other_arguments, в вариант набора данных, содержащий элементы, соответствующие output_types и output_shapes. |
output_types | Список tf.DTypes, длина которого >= 1. |
output_shapes | Список форм (каждая форма — tf.TensorShape или список ints), длина которого >= 1. |
deterministic | Необязательный string. По умолчанию "default". Строка, указывающая используемый детерминизм на уровне оператора. Детерминизм контролирует, разрешено ли переплетению возвращать элементы в неупорядоченном виде, если следующий элемент для возврата недоступен, но более поздний элемент доступен. Доступные варианты: «true», «false» и «default». «default» указывает, что детерминизм должен определяться параметром experimental_deterministic метода tf.data.Options. |
metadata | Необязательный string. По умолчанию "". |
name | Название операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/raw_ops/ParallelInterleaveDatasetV3