tf.raw_ops.ParallelInterleaveDataset

Создаёт набор данных, применяющий f к результатам input_dataset.

Просмотр псевдонимов

Псевдонимы для миграции

Для получения дополнительной информации см. Руководство по миграции.

tf.compat.v1.raw_ops.ParallelInterleaveDataset

tf.raw_ops.ParallelInterleaveDataset(
    input_dataset,
    other_arguments,
    cycle_length,
    block_length,
    sloppy,
    buffer_output_elements,
    prefetch_input_elements,
    f,
    output_types,
    output_shapes,
    metadata='',
    name=None
)

Полученный набор данных аналогичен InterleaveDataset, за исключением того, что если получение следующего значения из набора данных потребует блокировки запроса, этот входной набор данных будет пропущен. Этот набор данных особенно полезен при загрузке данных из источников данных с переменной задержкой (например, HDFS, GCS), так как он позволяет шагу обучения продолжать работу, пока доступны некоторые данные.

!! ПРЕДУПРЕЖДЕНИЕ !! Если параметр sloppy установлен в значение True, работа с этим набором данных не будет детерминированной!

Этот набор данных был заменён на ParallelInterleaveDatasetV2. Новый код должен использовать ParallelInterleaveDatasetV2.

API Python tf.data.experimental.parallel_interleave создаёт экземпляры этого оператора. tf.data.experimental.parallel_interleave — устаревший API.

Аргументы
`input_dataset`	A `Tensor` типа `variant`. Набор данных, генерирующий поток аргументов для функции `f`.
`other_arguments`	Список объектов `Tensor`. Дополнительные аргументы для передачи в `f` помимо тех, что генерируются `input_dataset`. Вычисляется один раз при создании набора данных.
`cycle_length`	A `Tensor` типа `int64`. Количество наборов данных (каждый создаётся путём применения `f` к элементам `input_dataset`) среди которых `ParallelInterleaveDataset` будет циклически переключаться в режиме круговой очереди.
`block_length`	A `Tensor` типа `int64`. Количество элементов, одновременно генерируемых каждым циклом выполнения набора данных, возвращённого `f`.
`sloppy`	A `Tensor` типа `bool`. Если `True`, возвращать элементы по мере их доступности, даже если это означает возврат этих элементов в недетерминированном порядке. Небрежная работа может привести к лучшей производительности при наличии отстающих узлов, но набор данных по-прежнему будет блокироваться, если все его открытые потоки заблокированы. Если `False`, всегда возвращать элементы в детерминированном порядке.
`buffer_output_elements`	A `Tensor` типа `int64`. Количество элементов, которые каждый интерлинируемый итератор должен буферизировать (подобно преобразованию `.prefetch()` для каждого интерлинируемого итератора).
`prefetch_input_elements`	A `Tensor` типа `int64`. Определяет количество итераторов для предварительной выборки, что позволяет буферам разогреться и данные предварительно загрузить без блокировки основного потока.
`f`	Функция, помеченная @Defun. Функция, отображающая элементы `input_dataset`, конкатенированные с `other_arguments`, на вариант набора данных, содержащий элементы, соответствующие `output_types` и `output_shapes`.
`output_types`	Список `tf.DTypes` длиной `>= 1`.
`output_shapes`	Список форм (каждая — `tf.TensorShape` или список `ints`) длиной `>= 1`.
`metadata`	Необязательный `string`. По умолчанию `""`.
`name`	Имя операции (необязательно).

Возвращаемое значение
A `Tensor` типа `variant`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/raw_ops/ParallelInterleaveDataset