tf.contrib.data.sloppy_interleave

Недетерминированная версия преобразования Dataset.interleave(). (устарело)

tf.contrib.data.sloppy_interleave(
    map_func, cycle_length, block_length=1
)

sloppy_interleave() отображает map_func через dataset, и недетерминированно вставляет результаты.

Получаемый набор данных почти идентичен interleave. Ключевое различие заключается в том, что если получение значения из заданного итератора вывода приведет к блокировке get_next, этот итератор будет пропущен, и использован, когда станет доступным. Если потребление со всех итераторов приведет к блокировке вызова get_next, вызов get_next будет заблокирован до тех пор, пока первое значение не станет доступным.

Если базовые наборы данных производят элементы так же быстро, как они потребляются, преобразование sloppy_interleave ведет себя так же, как interleave. Однако, если базовый набор данных заблокирует потребителя, sloppy_interleave может нарушить порядок круговой очереди (которому interleave строго следует), произведя элемент из другого базового набора данных вместо этого.

Пример использования:

# Preprocess 4 files concurrently.
filenames = tf.data.Dataset.list_files("/path/to/data/train*.tfrecords")
dataset = filenames.apply(
    tf.contrib.data.sloppy_interleave(
        lambda filename: tf.data.TFRecordDataset(filename),
        cycle_length=4))