numpy.memmap

class numpy.memmap [source]

Создать карту памяти для массива, хранящегося в бинарном файле на диске.

Файлы с картой памяти используются для доступа к небольшим сегментам больших файлов на диске без чтения всего файла в память. Memmap NumPy — это объекты, подобные массивам. Это отличается от модуля mmap Python, который использует объекты типа «подобный файлу».

Этот подкласс ndarray имеет некоторые неприятные взаимодействия с некоторыми операциями, потому что он не совсем подходит в качестве подкласса. Альтернативой использованию этого подкласса является создание объекта mmap самостоятельно, а затем создание ndarray с помощью ndarray.__new__, передав созданный объект в параметр «buffer =».

Этот класс в какой-то момент может быть преобразован в функцию-фабрику, которая возвращает представление буфера mmap.

Удалите экземпляр memmap, чтобы закрыть его.

Параметры:

filename : str, файл-подобный объект или pathlib.Path instance Имя файла или объект файла, который будет использоваться в качестве буфера данных массива. dtype : тип данных, необязательно Тип данных, используемый для интерпретации содержимого файла. По умолчанию — uint8. mode : {‘r+’, ‘r’, ‘w+’, ‘c’}, необязательно Файл открывается в этом режиме: ‘r’ Открыть существующий файл только для чтения. ‘r+’ Открыть существующий файл для чтения и записи. ‘w+’ Создать или перезаписать существующий файл для чтения и записи. ‘c’ Копирование при записи: присваивания влияют на данные в памяти, но изменения не сохраняются на диск. Файл на диске доступен только для чтения. По умолчанию — ‘r+’. offset : int, необязательно В файле данные массива начинаются с этого смещения. Поскольку offset измеряется в байтах, обычно это должно быть кратное размеру байта dtype. Когда mode != 'r', даже положительные смещения, выходящие за пределы конца файла, допустимы; файл будет расширен для размещения дополнительных данных. По умолчанию memmap начнется с начала файла, даже если filename — указатель файла fp и fp.tell() != 0. shape : кортеж, необязательно Желаемая форма массива. Если mode == 'r' и количество оставшихся байтов после offset не кратно размеру байта dtype, вы должны указать shape. По умолчанию возвращаемый массив будет одномерным с количеством элементов, определяемым размером файла и типом данных. order : {‘C’, ‘F’}, необязательно Укажите порядок расположения памяти ndarray: row-major, стиль C или column-major, стиль Fortran. Это имеет значение только если форма больше, чем одномерная. Порядок по умолчанию — ‘C’.

См. также

lib.format.open_memmap

Создать или загрузить файл с картой памяти .npy.

Примечания

Объект memmap можно использовать везде, где принимается ndarray. Учитывая memmap fp, isinstance(fp, numpy.ndarray) возвращает True.

Файлы с картой памяти не могут быть больше 2 ГБ на 32-битных системах.

Когда memmap вызывает создание файла или расширение его размера в файловой системе за пределы текущего размера, содержимое новой части не определено. На системах с семантикой файловой системы POSIX расширенная часть будет заполнена нулевыми байтами.

Примеры

>>> data = np.arange(12, dtype='float32')
>>> data.resize((3,4))

В этом примере используется временный файл, чтобы doctest не записывал файлы в ваш каталог. Вы бы использовали «обычное» имя файла.

>>> from tempfile import mkdtemp
>>> import os.path as path
>>> filename = path.join(mkdtemp(), 'newfile.dat')

Создать memmap с dtype и формой, соответствующей нашим данным:

>>> fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))
>>> fp
memmap([[ 0.,  0.,  0.,  0.],
        [ 0.,  0.,  0.,  0.],
        [ 0.,  0.,  0.,  0.]], dtype=float32)

Записать данные в массив memmap:

>>> fp[:] = data[:]
>>> fp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

>>> fp.filename == path.abspath(filename)
True

Удаление сбрасывает изменения памяти на диск перед удалением объекта:

>>> del fp

Загрузить memmap и проверить, что данные были сохранены:

>>> newfp = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> newfp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Только чтение memmap:

>>> fpr = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> fpr.flags.writeable
False

Memmap с копированием при записи:

>>> fpc = np.memmap(filename, dtype='float32', mode='c', shape=(3,4))
>>> fpc.flags.writeable
True

Возможна запись в массив с копированием при записи, но значения записываются только в копии массива в памяти, а не на диск:

>>> fpc
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)
>>> fpc[0,:] = 0
>>> fpc
memmap([[  0.,   0.,   0.,   0.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Файл на диске не изменился:

>>> fpr
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

Смещение в memmap:

>>> fpo = np.memmap(filename, dtype='float32', mode='r', offset=16)
>>> fpo
memmap([  4.,   5.,   6.,   7.,   8.,   9.,  10.,  11.], dtype=float32)

Атрибуты

filename	(str или pathlib.Path instance) Путь к сопоставленному файлу.
offset	(int) Смещение в файле.
mode	(str) Режим файла.

Методы

flush()

Записать любые изменения в массиве в файл на диске.