作者os653 (allstar)
看板Python
标题[问题] 大档案算CRC32
时间Wed Dec 29 06:12:20 2010
import binascii
import mmap
with open('10GB', 'r+b') as file:
map = mmap.mmap(file.fileno(), 0)
print binascii.crc32(map)
map.close()
现在用以上 code 能算出正确答案
不过电脑记忆体会全被吃光，完全没办法做其他事
请问有没有比较好的办法处理这个问题呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 114.46.141.48
1F：推 kaichan:mmap有offset,可分段读入。crc32有oldcrc,可填入前一段计 12/29 10:11
2F：→ kaichan:算的crc 12/29 10:11
3F：→ os653:搞定了，很抱歉没有看清楚 tutorial 问了这种蠢问题 ... 12/29 13:05
4F：推 smallyuyuyu:python的mmap，offset不是只能到2^32? 12/30 13:56
5F：→ os653:应该不只，我map下去後看size是正确的，算出来也是正确的 12/30 16:46
6F：推 smallyuyuyu:请教楼上 是跑在64bit机器上吗 12/31 13:29
7F：→ os653:是的 12/31 14:11