tf.contrib.data.parallel_interleave

Параллельная версия преобразования Dataset.interleave(). (устаревшая)

tf.contrib.data.parallel_interleave(
    map_func, cycle_length, block_length=1, sloppy=False,
    buffer_output_elements=None, prefetch_input_elements=None
)

parallel_interleave() применяет map_func к своему входу, чтобы создать вложенные наборы данных, и возвращает их элементы, переплетённые в порядке. В отличие от tf.data.Dataset.interleave, она получает элементы из cycle_length вложенных наборов данных параллельно, что увеличивает пропускную способность, особенно при наличии медленных звеньев. Кроме того, аргумент sloppy может быть использован для повышения производительности, ослабляя требование к тому, что результаты должны быть получены в детерминированном порядке, и позволяя реализации пропускать вложенные наборы данных, чьи элементы недоступны при запросе.

Пример использования:

# Preprocess 4 files concurrently.
filenames = tf.data.Dataset.list_files("/path/to/data/train*.tfrecords")
dataset = filenames.apply(
    tf.data.experimental.parallel_interleave(
        lambda filename: tf.data.TFRecordDataset(filename),
        cycle_length=4))