tf.raw_ops.ParallelInterleaveDataset

Создаёт набор данных, применяющий f к результатам input_dataset.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.raw_ops.ParallelInterleaveDataset

tf.raw_ops.ParallelInterleaveDataset(
    input_dataset,
    other_arguments,
    cycle_length,
    block_length,
    sloppy,
    buffer_output_elements,
    prefetch_input_elements,
    f,
    output_types,
    output_shapes,
    metadata='',
    name=None
)

Получаемый набор данных аналогичен InterleaveDataset, за исключением того, что если получение следующего значения из набора данных приведёт к блокированию запроса, этот входной набор данных будет пропущен. Этот набор данных особенно полезен при загрузке данных из источников данных с переменной задержкой (например, HDFS, GCS), поскольку он позволяет шагу обучения продолжать выполняться, пока доступны какие-либо данные.

!! ПРЕДУПРЕЖДЕНИЕ !! Если параметр sloppy установлен в True, работа этого набора данных не будет детерминированной!

Этот набор данных устарел и заменён на ParallelInterleaveDatasetV2. Новый код должен использовать ParallelInterleaveDatasetV2.

Python-API tf.data.experimental.parallel_interleave создаёт экземпляры этого оператора. tf.data.experimental.parallel_interleave — устаревший API.

Аргументы
`input_dataset`	Набор данных типа `variant`. Набор данных, генерирующий поток аргументов для функции `f`.
`other_arguments`	Список объектов `Tensor`. Дополнительные аргументы для передачи функции `f` помимо тех, которые генерирует `input_dataset`. Вычисляется один раз при создании набора данных.
`cycle_length`	Число наборов данных (каждый создаётся путём применения `f` к элементам `input_dataset`), между которыми набор данных будет циклически перемещаться в режиме круговой очереди.
`block_length`	Число элементов, которые нужно генерировать за один раз из каждого вызова набора данных, возвращённого `f`.
`sloppy`	Если `True`, возвращать элементы по мере их доступности, даже если это означает возвращение этих элементов в недетерминированном порядке. Небрежная работа может привести к лучшей производительности при наличии отстающих элементов, но набор данных всё равно заблокируется, если все его открытые потоки заблокированы. Если `False`, всегда возвращать элементы в детерминированном порядке.
`buffer_output_elements`	Число элементов, которые каждый итератор, участвующий в обработке, должен буферизировать (аналогично преобразованию `.prefetch()` для каждого итератора).
`prefetch_input_elements`	Определяет количество итераторов для предварительной обработки, позволяя буферам нагреться и данным предварительно загружаться без блокирования основного потока.
`f`	Функция, помеченная @Defun. Функция, отображающая элементы `input_dataset`, соединённые с `other_arguments`, на вариант набора данных, содержащий элементы, соответствующие `output_types` и `output_shapes`.
`output_types`	Список `tf.DTypes`, длина которого равна `>= 1`.
`output_shapes`	Список форм (каждая — `tf.TensorShape` или список `ints`), длина которого равна `>= 1`.
`metadata`	Необязательное значение. По умолчанию `""`.
`name`	Имя операции (необязательно).

Возвращаемое значение
Набор данных типа `variant`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/ParallelInterleaveDataset