作者tsaiminghan (nahgnimiast)
看板Python
標題[問題] multiprocess變得很慢？
時間Mon Apr 27 02:02:07 2020
程式碼在
https://ideone.com/3ZTGat
opencc是下面這個版本
https://pypi.org/project/opencc-python-reimplemented/
環境是python3.8, windows8.
#1 result = []
#2 for i in range(total):
#3 res = pool.apply_async(self.func1, args=(i,))
#4 result.append(res)
#5 pool.close()
#6 #pool.join()
#7 self.aa = OpenCC('s2twp')
1. 如果self.aa有設值，程式跑完需要16秒
2. self.aa拿掉的話0.13秒就跑完
3. 如執行pool.join()，結果是0.18秒
4. 把#7把放pool.join前面，並執行pool.join()，結果16秒
5. 把#7加到__init__，並執行pool.join()，結果16秒
6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒
感覺只要apply_async的任務跑完前，把OpenCC指給self，就會卡卡的，
問題感覺是出在opencc, 請問有可能是什麼原因？
opencc只有一隻py檔，就下面這隻
https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.87.190 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1587924129.A.4A3.html
1F：→ djshen: 不懂和multiprocessing有什麼關係 04/27 02:39
2F：→ MARGHT: 的確沒關係 04/27 03:24
https://ideone.com/r139RS
拿掉multiprocess, 跑起來就0.1x秒，不受self.aa影響
3F：推 TuCH: 開multiprocess 成本很高 開了是要丟大量運算 平行化的效果 04/27 18:06
4F：→ TuCH: 才顯現得出來 04/27 18:06
5F：推 WusoAiwen: 沒有大量運算用multiprocess反而會變慢 04/27 19:48
問題是慢得很奇怪，應該跟沒有大量運算用multiprocess反而會變慢無關
吧(看第6點)？
※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 19:58:55
6F：推 extraymond: 在linux下面跑，最花時間的是24行，拿掉就0.1x秒 04/27 21:45
7F：推 extraymond: 不過滿不固定的，你原始的code有時候也會0.1X秒 04/27 21:53
8F：→ extraymond: 如果你把self.func1移出a，最慢的情況會變成0.3X 04/27 21:55
9F：→ extraymond: 印象位置multiprocess你傳object進去，他會複製整份 04/27 21:57
10F：→ extraymond: a，包含a.test 時間差異應該從這邊找應該會有些結果 04/27 21:57
我在windows上也試了，如你所說，如果把fun1移出class，會快很多。
我再試試看，謝謝。
11F：→ djshen: map的時候會pickle method, 剛好你傳的是bound method 04/27 22:55
12F：→ djshen: 會把整個object一起pickle 然後傳到child process 04/27 22:55
13F：→ djshen: 又剛好pickle是在get的時候才call 04/27 22:55
14F：→ djshen: 你可以試試看print(len(pickle.dumps(self.func1))) 04/27 22:56
15F：→ djshen: 一開始想成copy on write 04/27 22:58
謝謝，我去找找pickle的資料看看
總結上面兩位的說法，時間是花在pickle obj，所以如果self.aa = OpenCC(..)時，連
OpenCC也會被pickle，所以如果有加join()，等multiprocess跑完，才有OpenCC，所以
OpenCC沒有被pickle。
因此multiprocess傳入的參數要盡量簡單，才不會有這問題囉？
※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 23:42:02
16F：→ AndCycle: 你要考慮跑 process 起來的代價跟考慮他會活多久 04/29 00:08
17F：→ zerof: 樓樓上正解 04/30 23:54