tf.raw_ops.ParallelInterleaveDataset

Создает набор данных, который применяет f к выходным данным input_dataset.

Просмотреть псевдонимы

Псевдонимы совместимости для миграции

Дополнительные сведения см. в руководстве по миграции.

tf.compat.v1.raw_ops.ParallelInterleaveDataset

tf.raw_ops.ParallelInterleaveDataset(
    input_dataset,
    other_arguments,
    cycle_length,
    block_length,
    sloppy,
    buffer_output_elements,
    prefetch_input_elements,
    f,
    output_types,
    output_shapes,
    metadata='',
    name=None
)

Полученный набор данных похож на InterleaveDataset, за исключением того, что если получение следующего значения из набора данных приведет к блокировке запрашивающего, он пропустит этот входной набор данных. Этот набор данных особенно полезен при загрузке данных из хранилищ данных с переменной задержкой (например, HDFS, GCS), поскольку позволяет продолжить шаг обучения, пока доступны какие-либо данные.

!! ПРЕДУПРЕЖДЕНИЕ !! Если для параметра sloppy задано значение True, работа этого набора данных не будет детерминированной!

Этот набор данных заменен на ParallelInterleaveDatasetV2. В новом коде следует использовать ParallelInterleaveDatasetV2.

Python API tf.data.experimental.parallel_interleave создает экземпляры этой операции. tf.data.experimental.parallel_interleave — устаревший API.

Аргументы
`input_dataset`	`Tensor` типа `variant`. Набор данных, который создает поток аргументов для функции `f`.
`other_arguments`	Список объектов `Tensor`. Дополнительные аргументы, передаваемые в `f` помимо тех, которые создает `input_dataset`. Вычисляется один раз при создании экземпляра набора данных.
`cycle_length`	`Tensor` типа `int64`. Количество наборов данных (каждый создается применением `f` к элементам `input_dataset`), между которыми `ParallelInterleaveDataset` будет циклически переключаться в порядке кругового обхода.
`block_length`	`Tensor` типа `int64`. Количество элементов, выдаваемых за один раз из каждого чередующегося вызова набора данных, возвращаемого `f`.
`sloppy`	`Tensor` типа `bool`. Если `True`, возвращать элементы по мере их доступности, даже если это означает, что элементы будут возвращаться в недетерминированном порядке. Нестрогий режим может повысить производительность при наличии медленно работающих процессов, но набор данных все равно будет блокироваться, если заблокированы все его открытые потоки. Если `False`, всегда возвращать элементы в детерминированном порядке.
`buffer_output_elements`	`Tensor` типа `int64`. Количество элементов, которые должен буферизовать каждый чередующийся итератор (аналогично преобразованию `.prefetch()` для каждого чередующегося итератора).
`prefetch_input_elements`	`Tensor` типа `int64`. Определяет количество итераторов для предварительной выборки, позволяя заполнить буферы и предварительно загрузить данные без блокировки основного потока.
`f`	Функция, декорированная с помощью @Defun. Функция, преобразующая элементы `input_dataset`, объединенные с `other_arguments`, в вариант Dataset, содержащий элементы, соответствующие `output_types` и `output_shapes`.
`output_types`	Список объектов `tf.DTypes` длины `>= 1`.
`output_shapes`	Список форм (каждая из которых является `tf.TensorShape` или списком `ints`) длины `>= 1`.
`metadata`	Необязательный `string`. По умолчанию — `""`.
`name`	Имя операции (необязательно).

Возвращает
`Tensor` типа `variant`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/ParallelInterleaveDataset