作者zps (笑看人生)
看板Python
标题[问题] multiprocessing 的 Pool.map
时间Sat Apr 22 23:50:27 2017
系统：win7 x64 sp1
python：3.5.1
Pool.map 看官方文件是 blocking
所以应该可以印出 0~29 的所有数字
但发现，若 print 有设定 end，行为会变成是 blocking
请问这是 bug 吗？感谢
程式码如下
from multiprocessing import Pool
import time
def f(x):
time.sleep(0.1)
# NG
print(x, end=' ')
# OK
# print(x)
if __name__ == '__main__':
pool = Pool()
pool.map(f, range(30))
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.174.136.246
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1492876229.A.D58.html
※ 编辑: zps (1.174.136.246), 04/22/2017 23:51:16
1F：→ zerof: 不是 04/23 01:20
2F：→ zerof: print 预设的 file = sys.stdout 是共用的, 设 flush=True 04/23 01:49
3F：→ zerof: 可以解决这个 racing condition 04/23 01:49
4F：→ zps: 请问是否可以想成，print 已执行，但还来不及输出 04/23 10:45
5F：→ zps: 程式就结束了，所以若有加上 join 会有效 04/23 10:46
6F：→ zps: 可是为何 print(x) 仍有效呢？ 04/23 10:47
7F：→ s860134: zerof 的意思是指说当有一个以上的行程同时跑到 print 04/23 12:11
8F：→ s860134: 时，会变成序列化的输入，造成看起来是 blocking 04/23 12:12
9F：→ s860134: 和你有没有加 join 应该是没关系~ 04/23 12:13
10F：→ zps: 印出不连续这部分我了解，但我的问题主要是印不到30个就结束 04/23 14:00
11F：→ zps: 理论上，pool.map 应该都要等到 subprocess 跑完才会结束 04/23 14:01
12F：→ zps: 但我实际 run 的结果，有时却是不到30个就结束了 04/23 14:02
13F：→ zps: 但 print(x) 却可行，後来试过加上 flush 也是可行的 04/23 14:02
14F：→ s860134: 你可以做一个实验，每个 process 都印自己的 pid 04/23 20:39
15F：→ s860134: os.getpid() 个人猜测是发生同时写入相互覆盖 04/23 20:40
感谢两位，以下是我实验的结果
跑出来的有三种结果，CPU 是双核的，所以预设会产生两个 subprocess
为求简单，我改成 range(5)，然後印出 pid
1. 没印出任何东西
2. 4376 4376 4376 (印出三个 pid)
3. 5772 5772 (印出二个 pid)
就我个人的理解，因 print 会先 buffer，之後才会一并显示在萤幕上
2 & 3 应该是相互覆盖所造成的，但若是相互覆盖造成的
理论上改为以下的 code 应该也是同样的情况，加上 close() & join()
pool = Pool()
pool.map(f, range(5))
pool.close()
pool.join()
此时的结果会有两种
5388 5388 5388 3188 3188 (印出五个 pid，前三後二)
5156 5156 5980 5980 5980 (印出五个 pid，前二後三)
却可以正常显示五个 pid，这里跟我前面的推论矛盾了
而 1 的部分，完全没印出东西，也是我觉得纳闷的地方
在 win7x32, Python 3.6.1 下，也有一样的情况
请问是否有什麽地方没考虑到呢？
※ 编辑: zps (1.175.122.168), 04/23/2017 21:58:40
17F：→ zerof: 明天再找时间回你...觉得把问题复杂化了QQ 04/24 01:18
18F：→ zps: 太感谢了 Orz 04/24 19:08