作者zps (笑看人生)
看板Python
標題[問題] multiprocessing 的 Pool.map
時間Sat Apr 22 23:50:27 2017
系統：win7 x64 sp1
python：3.5.1
Pool.map 看官方文件是 blocking
所以應該可以印出 0~29 的所有數字
但發現，若 print 有設定 end，行為會變成是 blocking
請問這是 bug 嗎？感謝
程式碼如下
from multiprocessing import Pool
import time
def f(x):
time.sleep(0.1)
# NG
print(x, end=' ')
# OK
# print(x)
if __name__ == '__main__':
pool = Pool()
pool.map(f, range(30))
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.174.136.246
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1492876229.A.D58.html
※ 編輯: zps (1.174.136.246), 04/22/2017 23:51:16
1F：→ zerof: 不是 04/23 01:20
2F：→ zerof: print 預設的 file = sys.stdout 是共用的, 設 flush=True 04/23 01:49
3F：→ zerof: 可以解決這個 racing condition 04/23 01:49
4F：→ zps: 請問是否可以想成，print 已執行，但還來不及輸出 04/23 10:45
5F：→ zps: 程式就結束了，所以若有加上 join 會有效 04/23 10:46
6F：→ zps: 可是為何 print(x) 仍有效呢？ 04/23 10:47
7F：→ s860134: zerof 的意思是指說當有一個以上的行程同時跑到 print 04/23 12:11
8F：→ s860134: 時，會變成序列化的輸入，造成看起來是 blocking 04/23 12:12
9F：→ s860134: 和你有沒有加 join 應該是沒關係~ 04/23 12:13
10F：→ zps: 印出不連續這部分我了解，但我的問題主要是印不到30個就結束 04/23 14:00
11F：→ zps: 理論上，pool.map 應該都要等到 subprocess 跑完才會結束 04/23 14:01
12F：→ zps: 但我實際 run 的結果，有時卻是不到30個就結束了 04/23 14:02
13F：→ zps: 但 print(x) 卻可行，後來試過加上 flush 也是可行的 04/23 14:02
14F：→ s860134: 你可以做一個實驗，每個 process 都印自己的 pid 04/23 20:39
15F：→ s860134: os.getpid() 個人猜測是發生同時寫入相互覆蓋 04/23 20:40
感謝兩位，以下是我實驗的結果
跑出來的有三種結果，CPU 是雙核的，所以預設會產生兩個 subprocess
為求簡單，我改成 range(5)，然後印出 pid
1. 沒印出任何東西
2. 4376 4376 4376 (印出三個 pid)
3. 5772 5772 (印出二個 pid)
就我個人的理解，因 print 會先 buffer，之後才會一併顯示在螢幕上
2 & 3 應該是相互覆蓋所造成的，但若是相互覆蓋造成的
理論上改為以下的 code 應該也是同樣的情況，加上 close() & join()
pool = Pool()
pool.map(f, range(5))
pool.close()
pool.join()
此時的結果會有兩種
5388 5388 5388 3188 3188 (印出五個 pid，前三後二)
5156 5156 5980 5980 5980 (印出五個 pid，前二後三)
卻可以正常顯示五個 pid，這裡跟我前面的推論矛盾了
而 1 的部分，完全沒印出東西，也是我覺得納悶的地方
在 win7x32, Python 3.6.1 下，也有一樣的情況
請問是否有什麼地方沒考慮到呢？
※ 編輯: zps (1.175.122.168), 04/23/2017 21:58:40
17F：→ zerof: 明天再找時間回你...覺得把問題複雜化了QQ 04/24 01:18
18F：→ zps: 太感謝了 Orz 04/24 19:08