作者ntuleo (里歐)
看板Python
標題[問題] python multiProcess效能很差？
時間Tue Apr 28 11:02:45 2015
主要是參考segmentfault的這篇
http://segmentfault.com/a/1190000000414339
看起來很有效，可是實際...
if __name__ == "__name__":
pool = Pool()
content = pool.map(transferConcat, [(obj_grab, content)])[0]
pool.close()
pool.join()
def concatMessage(obj_grab, content):
for logCatcher in obj_grab:
for key in logCatcher.dic_map:
regex = re.compile(key)
for j in range(len(content)):
for m in re.finditer(regex, content[j]):
content[j] += " " + logCatcher.index + " " + logCatcher.dic_map[key]
return content
def transferConcat(args):
return concatMessage(*args)
以上是我的代碼（部分，只貼問題點），執行時間22秒
若單純執行method大概也是22秒...等於沒加速...
我試過調整pool的數量，沒什麼效果
請問要怎麼做才能真正體現mulitiProcess的效能呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.221.50.98
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1430190169.A.3B0.html
1F：→ ccwang002: 你實際上丟給 Pool.map(func, listarg1, listarg2) 04/28 12:56
2F：→ ccwang002: listargx = [x1, x2, ...] Pool 會並行執行 x1 和 x2 04/28 12:57
3F：→ ccwang002: 但你只給了一組 input 所以實際上就是沒加速 04/28 12:57
4F：→ ccwang002: 等於 pool.map(concatMessage, [obj_grab], [content]) 04/28 16:13
5F：→ ntuleo: 所以一組就不行嗎？ 那有其它方式可以加速for loop嗎？ 04/28 20:22
6F：→ CaptainH: 對平行化完全沒有概念的話, 還是不要用比較好 04/28 20:28
7F：→ ccwang002: pool.map(cM, [obj1, obj2, ...], [c1, c2, ...]) 04/28 21:41
8F：→ ccwang002: 這樣就會有平行的效果，multiprocess 的對象是很明確的 04/28 21:41
9F：→ ccwang002: 可以加速 for loop，就要針對 for loop 裡面的邏輯設計 04/28 21:42
10F：推 LiloHuang: Python Concurrency From the Ground Up - PyCon 2015 04/28 22:39
12F：推 LiloHuang: 基本上 Python 的 multiprocessing 是以 tasks 為單位 04/29 00:22
13F：→ LiloHuang: 你必須要自己先把工作轉化成一堆 task 再來進行平行 04/29 00:22
14F：→ LiloHuang: 畢竟這不像 OpenMP 加個 #pragma omp parallel 就會動 04/29 00:23
15F：→ LiloHuang: 就像 ccwang002 提到的，你的 task 目前只有一個... 04/29 00:24
16F：推 LiloHuang: 你可以嘗試著把第一層迴圈展開，換成用 map 的寫法就好 04/29 00:26
17F：→ LiloHuang: 處理的 func 裡面不要去存取共享變數，讓每個 process 04/29 00:32
18F：→ LiloHuang: 都能夠獨立的跑完它的結果，之後再把結果進行 reduce 04/29 00:33