numpy.memmap:虚假的内存分配

我有一个python3使用numpy.memmap数组操作的脚本.它将数组写入新生成的临时文件,该文件位于/tmp:

import numpy, tempfile

size = 2 ** 37 * 10
tmp = tempfile.NamedTemporaryFile('w+')
array = numpy.memmap(tmp.name, dtype = 'i8', mode = 'w+', shape = size)
array[0] = 666
array[size-1] = 777
del array
array2 = numpy.memmap(tmp.name, dtype = 'i8', mode = 'r+', shape = size)
print('File: {}. Array size: {}. First cell value: {}. Last cell value: {}'.\
      format(tmp.name, len(array2), array2[0], array2[size-1]))
while True:
    pass

硬盘的大小只有250G.尽管如此,它可以以某种方式生成10T大文件/tmp,并且相应的数组似乎仍然可以访问.脚本的输出如下:

File: /tmp/tmptjfwy8nr. Array size: 1374389534720. First cell value: 666. Last cell value: 777

该文件确实存在并显示为10T大:

$ ls -l /tmp/tmptjfwy8nr
-rw------- 1 user user 10995116277760 Dec  1 15:50 /tmp/tmptjfwy8nr

但是,整个尺寸/tmp要小得多:

$ df -h /tmp
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       235G  5.3G  218G   3% /

该过程也假装使用10T虚拟内存,这也是不可能的.top命令输出:

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND 
31622 user      20   0 10.000t  16592   4600 R 100.0  0.0   0:45.63 python3

据我所知,这意味着在调用numpy.memmap所需的内存时,整个数组都没有分配,因此显示的文件大小是假的.这反过来意味着当我开始逐渐用我的数据填充整个数组时,在某些时候我的程序将崩溃或我的数据将被破坏.

的确,如果我在我的代码中引入以下内容:

for i in range(size):
    array[i] = i

一段时间后我收到错误:

Bus error (core dumped)

因此,问题是:如何在开头检查,如果有足够的内存用于数据,然后确实为整个阵列保留了空间？

关于你生成10 TB文件这一事实并没有什么"假"

你要的是大小数组

2**37*10 = 1374389534720元素

dtype 'i8'表示8字节(64位)整数,因此最终数组的大小为

1374389534720*8 = 10995116277760字节

要么

10995116277760/1E12 = 10.99511627776 TB

如果您只有250 GB的可用磁盘空间,那么如何创建"10 TB"文件？

假设您正在使用一个相当现代的文件系统,您的操作系统将能够生成几乎任意大的稀疏文件,无论您是否确实有足够的物理磁盘空间来支持它们.

例如,在我的Linux机器上,我可以做这样的事情:

# I only have about 50GB of free space...
~$ df -h /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sdb1      ext4  459G  383G   53G  88% /

~$ dd if=/dev/zero of=sparsefile bs=1 count=0 seek=10T
0+0 records in
0+0 records out
0 bytes (0 B) copied, 0.000236933 s, 0.0 kB/s

# ...but I can still generate a sparse file that reports its size as 10 TB
~$ ls -lah sparsefile
-rw-rw-r-- 1 alistair alistair 10T Dec  1 21:17 sparsefile

# however, this file uses zero bytes of "actual" disk space
~$ du -h sparsefile
0       sparsefile

~$ fallocate -l 1G bigfile

~$ du -h bigfile
1.1G    bigfile

import subprocess

def fallocate(fname, length):
    return subprocess.check_call(['fallocate', '-l', str(length), fname])

def safe_memmap_alloc(fname, dtype, shape, *args, **kwargs):
    nbytes = np.prod(shape) * np.dtype(dtype).itemsize
    fallocate(fname, nbytes)
    return np.memmap(fname, dtype, *args, shape=shape, **kwargs)

mmap = safe_memmap_alloc('test.mmap', np.int64, (1024, 1024))

print(mmap.nbytes / 1E6)
# 8.388608

print(subprocess.check_output(['du', '-h', 'test.mmap']))
# 8.0M    test.mmap