StreamReaderIterDataPipe

class torch.utils.data.datapipes.iter.streamreader.StreamReaderIterDataPipe(datapipe, chunk=None) [source]

Получая потоки ввода-вывода и соответствующие им имена меток, возвращает байты вместе с именем метки в виде кортежа.

(функциональное имя: read_from_stream).

Параметры:

• datapipe (IterDataPipe[tuple[str, IOBase]]) – Итеративный DataPipe предоставляет метку/URL и поток байтов
• chunk (int | None) – Количество байтов, считываемых из потока за одну итерацию. Если None, все байты будут считаны до EOF.

Пример

>>> from torchdata.datapipes.iter import IterableWrapper, StreamReader
>>> from io import StringIO
>>> dp = IterableWrapper([("alphabet", StringIO("abcde"))])
>>> list(StreamReader(dp, chunk=1))
[('alphabet', 'a'), ('alphabet', 'b'), ('alphabet', 'c'), ('alphabet', 'd'), ('alphabet', 'e')]

reset() [source]

Сбросить IterDataPipe в исходное состояние.

По умолчанию ничего не делает. Подклассы IterDataPipe, в зависимости от реализуемых ими функций, могут переопределить этот метод, чтобы очистить буферы и сбросить указатели DataPipe. Метод reset всегда вызывается, когда __iter__ вызывается в рамках hook_iterator.