作者ntuleo (里欧)
看板Python
标题[问题] python multiProcess效能很差？
时间Tue Apr 28 11:02:45 2015
主要是参考segmentfault的这篇
http://segmentfault.com/a/1190000000414339
看起来很有效，可是实际...
if __name__ == "__name__":
pool = Pool()
content = pool.map(transferConcat, [(obj_grab, content)])[0]
pool.close()
pool.join()
def concatMessage(obj_grab, content):
for logCatcher in obj_grab:
for key in logCatcher.dic_map:
regex = re.compile(key)
for j in range(len(content)):
for m in re.finditer(regex, content[j]):
content[j] += " " + logCatcher.index + " " + logCatcher.dic_map[key]
return content
def transferConcat(args):
return concatMessage(*args)
以上是我的代码（部分，只贴问题点），执行时间22秒
若单纯执行method大概也是22秒...等於没加速...
我试过调整pool的数量，没什麽效果
请问要怎麽做才能真正体现mulitiProcess的效能呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.221.50.98
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1430190169.A.3B0.html
1F：→ ccwang002: 你实际上丢给 Pool.map(func, listarg1, listarg2) 04/28 12:56
2F：→ ccwang002: listargx = [x1, x2, ...] Pool 会并行执行 x1 和 x2 04/28 12:57
3F：→ ccwang002: 但你只给了一组 input 所以实际上就是没加速 04/28 12:57
4F：→ ccwang002: 等於 pool.map(concatMessage, [obj_grab], [content]) 04/28 16:13
5F：→ ntuleo: 所以一组就不行吗？ 那有其它方式可以加速for loop吗？ 04/28 20:22
6F：→ CaptainH: 对平行化完全没有概念的话, 还是不要用比较好 04/28 20:28
7F：→ ccwang002: pool.map(cM, [obj1, obj2, ...], [c1, c2, ...]) 04/28 21:41
8F：→ ccwang002: 这样就会有平行的效果，multiprocess 的对象是很明确的 04/28 21:41
9F：→ ccwang002: 可以加速 for loop，就要针对 for loop 里面的逻辑设计 04/28 21:42
10F：推 LiloHuang: Python Concurrency From the Ground Up - PyCon 2015 04/28 22:39
12F：推 LiloHuang: 基本上 Python 的 multiprocessing 是以 tasks 为单位 04/29 00:22
13F：→ LiloHuang: 你必须要自己先把工作转化成一堆 task 再来进行平行 04/29 00:22
14F：→ LiloHuang: 毕竟这不像 OpenMP 加个 #pragma omp parallel 就会动 04/29 00:23
15F：→ LiloHuang: 就像 ccwang002 提到的，你的 task 目前只有一个... 04/29 00:24
16F：推 LiloHuang: 你可以尝试着把第一层回圈展开，换成用 map 的写法就好 04/29 00:26
17F：→ LiloHuang: 处理的 func 里面不要去存取共享变数，让每个 process 04/29 00:32
18F：→ LiloHuang: 都能够独立的跑完它的结果，之後再把结果进行 reduce 04/29 00:33