作者icoach (Nee)
看板Python
标题[问题] multi threading use same input file
时间Tue May 6 14:04:20 2014
目前自己想要重新设计一个架构,目前架构如下
有一个大档案,假设是5GB,里面有一百万行资料
接下来,我有20个threading ,每一个threading 都做不一样的事
但是读取的档案都是前面说的5GB的大档
目前作法是每一个threading都去开5gb的file ,各自读各自的
现在想要开一次5gb的file ,然後给每一个threading去执行
目前是想到用mmap 共用同一块记忆体去做 不知道thread间会不会打架
不知道各位前辈是否能给点意见或建议 谢谢各位
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.75.199.98
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Python/M.1399356262.A.36A.html
1F：→ gozule:只读不写的话，thread or process都是共用记忆体的 05/07 02:20
2F：推 tiefblau:如果如楼上所言 import multiprocessing就够用了 05/07 15:17
3F：→ gozule:我有做过类似的程式，原因应该是OS的copy on write 05/08 01:00