tf.data.experimental.parallel_interleave

Параллельная версия преобразования Dataset.interleave(). (устарело)

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.data.experimental.parallel_interleave

tf.data.experimental.parallel_interleave(
    map_func, cycle_length, block_length=1, sloppy=False,
    buffer_output_elements=None, prefetch_input_elements=None
)

parallel_interleave() отображает map_func через свой вход для создания вложенных наборов данных и выводит их элементы, чередуя их. В отличие от tf.data.Dataset.interleave, она получает элементы из cycle_length вложенных наборов данных параллельно, что увеличивает пропускную способность, особенно при наличии элементов, отстающих от графика. Кроме того, аргумент sloppy может быть использован для повышения производительности, ослабляя требование о том, что результаты должны генерироваться в определенном порядке, и позволяя реализации пропускать вложенные наборы данных, элементы которых не доступны при запросе.

Пример использования:

# Preprocess 4 files concurrently.
filenames = tf.data.Dataset.list_files("/path/to/data/train*.tfrecords")
dataset = filenames.apply(
    tf.data.experimental.parallel_interleave(
        lambda filename: tf.data.TFRecordDataset(filename),
        cycle_length=4))

Аргументы
`map_func`	Функция, отображающая вложенную структуру тензоров в `Dataset`.
`cycle_length`	Количество входных `Dataset` для чередования из параллельных потоков.
`block_length`	Количество последовательных элементов, которые нужно извлечь из входного `Dataset` перед переходом к следующему входному `Dataset`.
`sloppy`	Логическое значение, определяющее, следует ли пожертвовать детерминизмом ради производительности, разрешая генерацию элементов в произвольном порядке. Если `sloppy` равно `None`, для определения необходимости обеспечения детерминированного порядка используется опция набора данных `tf.data.Options.experimental_deterministic` (по умолчанию `True`).
`buffer_output_elements`	Количество элементов, которое каждый итератор, участвующий в чередовании, должен буферизовать (аналогично преобразованию `.prefetch()` для каждого итератора чередования).
`prefetch_input_elements`	Количество входных элементов, которые нужно преобразовать в итераторы до того, как они понадобятся для чередования.

Возвращаемое значение
Функция преобразования `Dataset`, которую можно передать в `tf.data.Dataset.apply`.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/data/experimental/parallel_interleave