numpy.lib.Arrayterator

class numpy.lib.Arrayterator(var, buf_size=None) [source]

Буферизованный итератор для больших массивов.

Arrayterator создаёт буферизованный итератор для чтения больших массивов небольшими смежными блоками. Класс полезен для объектов, хранящихся в файловой системе. Он позволяет итерироваться по объекту без чтения всего в память; вместо этого небольшие блоки считываются и обрабатываются.

Arrayterator может быть использован с любым объектом, поддерживающим многомерные срезы. Это включает массивы NumPy, а также переменные из Scientific.IO.NetCDF или pynetcdf, например.

Параметры:	var : array_like Объект, по которому нужно итерироваться. buf_size : int, optional Размер буфера. Если buf_size указан, максимальный объём данных, которые будут считаны в память, составляет buf_size элементов. По умолчанию None, что будет читать столько элементов, сколько возможно в память.

См. также

ndenumerate

Многомерный итератор массива.

flatiter

Итератор плоского массива.

memmap

Создание отображения в памяти для массива, хранящегося в двоичном файле на диске.

Примечания

Алгоритм работает, сначала найдя «текущую размерность», вдоль которой будут извлекаться блоки. Учитывая массив с размерностями (d1, d2, ..., dn), например, если buf_size меньше, чем d1, будет использована первая размерность. Если, с другой стороны, d1 < buf_size < d1*d2, будет использована вторая размерность и так далее. Блоки извлекаются вдоль этой размерности, а когда возвращается последний блок, процесс продолжается со следующей размерностью, пока все элементы не будут прочитаны.

Примеры

>>> a = np.arange(3 * 4 * 5 * 6).reshape(3, 4, 5, 6)
>>> a_itor = np.lib.Arrayterator(a, 2)
>>> a_itor.shape
(3, 4, 5, 6)

Теперь мы можем итерироваться по a_itor, и он вернёт массивы размером два. Поскольку buf_size было меньше любой размерности, сначала будет итерироваться по первой размерности:

>>> for subarr in a_itor:
...     if not subarr.all():
...         print(subarr, subarr.shape)
...
[[[[0 1]]]] (1, 1, 1, 2)

Атрибуты:	var buf_size start stop step shape Форма массива, по которому необходимо итерироваться. flat 1-мерный итератор для объектов Arrayterator.