numpy.memmap

class numpy.memmap(filename, dtype=<class 'numpy.ubyte'>, mode='r+', offset=0, shape=None, order='C')[source]

Создаёт ссылку на массив, хранящийся в бинарном файле на диске.

Связанные с памятью файлы используются для доступа к небольшим сегментам больших файлов на диске без чтения всего файла в память. Объекты memmap NumPy являются массивоподобными объектами. Это отличается от модуля Python mmap, который использует объекты типа файл.

Этот подкласс ndarray имеет некоторые неприятные взаимодействия с некоторыми операциями, потому что он не совсем подходит как подкласс. Альтернативой использованию этого подкласса является создание объекта mmap самостоятельно, а затем создание ndarray с помощью ndarray.__new__, передав созданный объект в его параметр ‘buffer=‘.

Этот класс может в какой-то момент быть преобразован в функцию-фабрику, которая возвращает представление буфера mmap.

Очистить экземпляр memmap, чтобы записать изменения в файл. В настоящее время нет API для закрытия базового объекта mmap. Сложно гарантировать, что ресурс действительно закрыт, так как он может быть совместно использован различными экземплярами memmap.

Parameters

filenamestr, файл-подобный объект или pathlib.Path instance

Имя файла или объект файла, используемый в качестве буфера данных массива.

dtypeтип данных, необязательно

Тип данных, используемый для интерпретации содержимого файла. По умолчанию uint8.

mode{‘r+’, ‘r’, ‘w+’, ‘c’}, необязательно

Файл открывается в этом режиме:

‘r’	Открыть существующий файл только для чтения.
‘r+’	Открыть существующий файл для чтения и записи.
‘w+’	Создать или перезаписать существующий файл для чтения и записи.
‘c’	Копирование при записи: присваивания влияют на данные в памяти, но изменения не сохраняются на диск. Файл на диске доступен только для чтения.

По умолчанию ‘r+’.

offsetint, необязательно

В файле данные массива начинаются с этого смещения. Поскольку offset измеряется в байтах, он обычно должен быть кратным размеру байта dtype. При mode != 'r', даже положительные смещения за пределами конца файла допустимы; файл будет расширен, чтобы вместить дополнительные данные. По умолчанию memmap начнется с начала файла, даже если filename является указателем на файл fp и fp.tell() != 0.

shapetuple, необязательно

Желаемая форма массива. Если mode == 'r' и количество оставшихся байтов после offset не кратно размеру байта dtype, необходимо указать shape. По умолчанию возвращаемый массив будет одномерным с количеством элементов, определяемым размером файла и типом данных.

order{‘C’, ‘F’}, необязательно

Укажите порядок расположения памяти ndarray: строчно-главный, C-стиль или столбцево-главный, Fortran-стиль. Это имеет значение только если размерность массива больше 1. По умолчанию порядок ‘C’.

См. также

lib.format.open_memmap

Создать или загрузить файл .npy с отображением в памяти.

Примечания

Объект memmap может использоваться там, где принимается ndarray. Применённый к memmap fp, isinstance(fp, numpy.ndarray) возвращает True.

Файлы с отображением в памяти не могут быть больше 2 ГБ на 32-разрядных системах.

Когда memmap приводит к созданию или расширению файла за пределы его текущего размера в файловой системе, содержимое новой части не определено. На системах с семантикой файловой системы POSIX расширенная часть будет заполнена нулями.

Примеры

>>> data = np.arange(12, dtype='float32')
>>> data.resize((3,4))

В этом примере используется временный файл, чтобы doctest не записывал файлы в вашу директорию. Вы бы использовали обычное имя файла.

>>> from tempfile import mkdtemp
>>> import os.path as path
>>> filename = path.join(mkdtemp(), 'newfile.dat')

Создайте memmap с типом данных и размером, соответствующим нашим данным:

>>> fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))
>>> fp
memmap([[0., 0., 0., 0.],
        [0., 0., 0., 0.],
        [0., 0., 0., 0.]], dtype=float32)

Запишите данные в массив memmap:

>>> fp[:] = data[:]
>>> fp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

>>> fp.filename == path.abspath(filename)
True

Сбрасывает изменения в памяти на диск, чтобы можно было их снова прочитать

>>> fp.flush()

Загрузите memmap и проверьте, что данные были сохранены:

>>> newfp = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> newfp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Только чтение memmap:

>>> fpr = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> fpr.flags.writeable
False

memmap с копированием при записи:

>>> fpc = np.memmap(filename, dtype='float32', mode='c', shape=(3,4))
>>> fpc.flags.writeable
True

Возможна присваивание массиву с копированием при записи, но значения записываются только в копию массива в памяти, а не на диск:

>>> fpc
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)
>>> fpc[0,:] = 0
>>> fpc
memmap([[  0.,   0.,   0.,   0.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Файл на диске не изменился:

>>> fpr
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Смещение в memmap:

>>> fpo = np.memmap(filename, dtype='float32', mode='r', offset=16)
>>> fpo
memmap([  4.,   5.,   6.,   7.,   8.,   9.,  10.,  11.], dtype=float32)

Attributes

filenamestr или pathlib.Path instance

Путь к файлу с отображением в памяти.

offsetint

Смещение в файле.

modestr

Режим файла.

Методы

flush()

Записать любые изменения в массиве в файл на диске.